🤖🧠 Яндекс запустил бета-версию Нейроэксперта — сервиса для работы с пользовательскими данными. В него можно загрузить ссылки из интернета, документы, PDF, аудио- и видеофайлы, а нейросеть создаст из них базу знаний и поможет найти в ней ответ. А ещё Нейроэксперт умеет пересказывать, делать выводы, сравнивать и писать тексты на основе загруженных данных — и всё это благодаря методу RAG. Вот как он работает.

Что такое RAG?

Языковые модели отвечают, исходя из данных, на которых их обучали. Чтобы модель использовала другую информацию, её можно дообучить, но проще использовать RAG (Retrieval Augmented Generation) — генерацию с внешними знаниями. Этот метод позволяет дополнить ответы данными, которые не были заложены при обучении.

Что это за данные?

🔸 Специализированные материалы — документация проекта, база знаний компании, учебные материалы и тому подобное.

🔸 Актуальная информация из интернета. Например, RAG используется в Поиске с Нейро для генерации ответа нейросетью с опорой на источники из интернета.

Как это работает?

Подключённые к RAG-системе данные разбивают на небольшие фрагменты — чанки (англ. chunk — кусок). Каждый чанк превращают в эмбеддинг — векторное представление, сохраняющее смысл данных. Пользовательский запрос тоже превращают в эмбеддинг, и система ищет в базе данных подходящие по смыслу фрагменты. Затем они вместе с запросом подаются в нейросеть, которая генерирует финальный ответ.

Пользовательский запрос → преобразование запроса в вектор → поиск релевантных данных в базе знаний → объединение найденной информации с запросом → генерация итогового ответа языковой моделью.

Что даёт RAG в сравнении с другими методами?

Метод позволяет обновлять знания языковой модели без её дообучения. А ещё RAG снижает вероятность галлюцинаций по сравнению с генерацией «из головы», то есть без доступа к внешним данным.

Ещё один способ снизить частоту галлюцинаций — загрузить в модель все данные вместе с запросом пользователя. Но для этого она должна уметь обрабатывать длинные тексты, а искать нужную информацию в большом объёме данных будет непросто. RAG же даёт модели только релевантные фрагменты, не перегружая её лишней информацией — получается быстрее и дешевле.

Подписывайтесь 👉 @techno_yandex