Сегодня я хочу разобрать с вами то, как оценивается качество AI систем на базе RAG. Что такое RAG и как он работает, я уже рассказывал в этом посте.

Для оценки AI, в который добавлена информация с помощью RAG, используется 3 ключевых метрики, такие как Answer Relevancy (релеватность или точность ответа), Faithfulness/Groundedness (верность ответа в соответствии с источникам) и Context Relevancy (правильность подбора контекста в зависимости от запроса пользователя). Нам важно проверить 3 важных момента: насколько хорошо система находит нужные факты, документы (контекст), насколько точно генерирует ответ на основе найденной информации, и насколько этот ответ отвечает на исходный вопрос. Провал в любом звене ломает всю цепочку и приводит к плохому качеству ответов AI.

Итак, теперь немного про метрики:
Context Relevancy — качество поиска: Первая метрика оценивает компонент - retrieval. Насколько найденные документы соответствуют пользовательскому запросу? Если система притащила 10 фрагментов контекста, но только 2 из них релевантны для запроса — у вас проблема с поиском, а не с генерацией.

Faithfulness/Groundedness — верность источникам: Вторая метрика проверяет, не галлюцинирует ли модель. Все утверждения в ответе должны подтверждаться найденным контекстом, а не придуманы моделью AI. Это особенно критично для задач в таких областях, как юриспруденция, медицина, финансы и других строго регулируемых отраслях.

Оценивается через проверку: можно ли каждое утверждение в ответе AI найти в исходных документах? Типичная проблема — модель "додумывает" детали, которых нет в контексте.

Answer Relevancy — точность ответа: Третья метрика оценивает финальный результат. Насколько ответ релевантен исходному вопросу? AI модель может использовать правильные документы, не галлюцинировать, но при этом отвечать не на тот вопрос или не понимать намерения пользователя.

Все три метрики реализованы в фрейморках DeepEval, Ragas, Evidently AI и других.


Полезная информация:
С чего начать изучение AI | Инструменты для оценки AI