Всем привет!

Сегодня разберем различные виды RAG-архитектур. RAG - это одна технология, но существует несколько принципиально разных подходов. Архитектура системы кардинально влияет на качество ответов и сложность реализации.

Naive RAG: Базовая схема запрос → поиск → генерация. Находит 3-10 похожих фрагментов по cosine similarity, передает в LLM с исходным вопросом для генерации.

Advanced RAG: Включает предобработку запросов (Query rewriting) и гибридный поиск. Query rewriting техника расширяет фразу запроса, например, "проблемы сервера" расширит до "медленная работа веб-сервера" и "оптимизация производительности".
Гибридный поиск комбинирует semantic + fulltext. При запросе "настройка max_connections PostgreSQL" semantic поиск найдет общую инфу про БД, а fulltext точные упоминания параметра.

Agentic RAG: Самая продвинутая архитектура с AI-агентами. Разбивает сложные запросы на подзадачи, планирует последовательность действий.
Запрос "Влияние цифровизации на рынок труда 2020-2024" декомпозируется на: статистика рынка, процессы цифровизации, COVID-19, санкции, синтез результатов.

Evaluation для разных типов RAG:
- Naive RAG - это простые метрики: accuracy, ROUGE для сравнения с эталонными ответами. Оценка Context Relevancy также критична.
- Advanced RAG - нужна RAG-триада: Answer Relevancy, Faithfulness, Context Relevancy. Дополнительно оценивайте качество перефразирования запросов и качество гибридного поиска.
- Agentic RAG — самый сложный evaluation. Помимо триады нужны метрики для планирования: правильность декомпозиции задач, качество синтеза информации из подзадач, coherence финального ответа.

Начинайте с базовых метрик для Naive, добавляйте сложность постепенно. Для Agentic обязателен human evaluation, так как автоматические метрики не всегда улавливают качество комплексного анализа.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI