KR Labs показали сверхточный RAG на малых моделях Vela 2.0

⛵️ KR Labs и команда vLLM Semantic Router показали, как семейство моделей Vela 2.0 размером до 4B выполняет поиск, отбор документов и извлечение ответа с очень высокой точностью.

🔎 В демонстрации модель строит поисковые векторы из своих внутренних представлений и выбирает 10 из 60 абзацев.
Затем оценивает каждый вопросом «этот фрагмент отвечает на запрос?» и оставляет три. Этапы используют одну и ту же модель с несколькими вызовами.

🧩 Например поле даты в шаблоне «Бруклинский мост открыли …» превращается в вопрос о нужных словах.
Модель оценивает слова по отдельности, а соседние подходящие слова объединяются в цитату.
Приложение повторно читает её из документа по позициям символов и возвращает JSON с источником, границами фрагмента и вероятностью.
Если ни один фрагмент не прошёл порог, поле остаётся пустым.

⚠️ Достоверность подтверждена источником.
При поиске документа и выборе цитаты возможны ошибки, поэтому правильность ответа подкрепляется перепроверкой.
В опубликованном примере про Эресуннский мост модель указала только Данию, хотя исходный абзац называет Данию и Швецию. Обещание «RAG без галлюцинаций» описывает ограничение на сочинение новых значений.

💼 Такой подход может быть полезен для заполнения карточек по договорам, инструкциям и отчётам, когда каждое поле должно иметь проверяемую цитату.
Так же интересен пример в демке с рапознаванием конфиденциальных денных - карточек, телефонов, ФИО.
Полезно как пример механизма быстрого маскирования.

Веса и код 4B опубликованы под Apache 2.0.

📎 Модель 4B · Архитектура и проверки

#Vela #RAG #VLLMSR #Semantic #Router
———
@tsingular