Контекстуальный RAG: сокращение галлюцинаций на 35% 🎉

Недавно исследователи представили улучшение для RAG: аннотирование чанков контекстом и комбинация семантических эмбеддингов с TF-IDF. Этот подход снижает количество галлюцинаций на 35% по сравнению с классическими методами RAG!

А теперь появился шанс изучить этот подход на практике! Together AI выложили опенсорсную реализацию, в которой они используют Llama 3.2 3B для аннотирования, а Llama 3.1 405B в качестве основной модели.

Кратко, как это работает ⬅️

🧩 1. Контекстуализация для каждого фрагмента:
Каждому фрагменту добавляется небольшое пояснение, помогающее модели лучше понять, как этот кусок текста связан с другими частями документа. Это достигается с помощью небольших и более доступных моделей, которые способны быстро и недорого создавать такие контекстные пояснения.

🔍 2. Гибридный поиск (Hybrid Search):
Каждый фрагмент индексируется с использованием как разреженных (ключевые слова), так и плотных (семантических) эмбеддингов, что позволяет более точно захватывать смысл текста. Такой подход делает процесс поиска более глубоким и релевантным.

📊 3. Объединение рейтингов (Rank Fusion) с помощью Reciprocal Rank Fusion (RRF):
Используя RRF, мы объединяем ранжирование по ключевым и семантическим признакам, чтобы получить наиболее точные фрагменты. Это помогает достичь баланса между поверхностным и глубоким поиском, исключая нерелевантные результаты.

🎯 4. Двойное ранжирование:
Сначала извлекается 150 топовых фрагментов, которые затем проходят повторное ранжирование (Reranker). После этого остаётся 20 лучших, которые используются для создания ответа. Это позволяет модели работать с релевантными данными и генерировать более точные и информативные ответы.

Код доступен по ссылке. Исследователям будет полезно поэкспериментировать с этим пайплайном, а тем, кто внедряет RAG в продакшене — сохранить имплементацию для изучения.

#RAG #OpenSource #ML #NLP #AIResearch #DataScience #SemanticSearch