Три уровня оценки RAG: ранжирование, генерация с эталонами и без

Недавно мы разобрали, какие метрики помогают диагностировать работу RAG-систем. А сегодня делимся новой статьей на TProger, где наш ML-инженер, Никита Кравчук, поделился методиками оценки еще более подробно и затронул вопросы математики метрик, используемых для оценки поиска и генерации.

В новом материале на TProger разобрали ключевые моменты, которые важно учитывать при оценке RAG. Делимся главным 👇

🔹Внедрение RAG — это не финальная точка, а начало цикла улучшений. Чтобы система действительно приносила пользу бизнесу, нужно точно понимать, где возникают ошибки: на этапе поиска релевантных фрагментов или при формировании ответа. И здесь важен комплексный подход к метрикам.
🔹 Оценка поиска. Для расчета метрик ранжирования необходима эталонная разметка релевантности чанков. MRR учитывает только позицию первого релевантного фрагмента, precision@k оценивает точность в топ-k, а nDCG@k чувствителен к порядку выдачи. Полноту найденных релевантных чанков измеряет recall@k.
🔹 Оценка генерации при наличии эталонов. Если есть датасет правильных ответов, можно использовать такие метрики, как BLEU и ROUGE. Они оценивают совпадение n-грамм токенов, но чрезмерно штрафуют за перефразирование эталонов. BERTScore лишен этого недостатка, так как оценивает семантическую близость через эмбеддинги токенов.
🔹 Оценка генерации без эталонов. Когда собрать эталонные ответы невозможно, применяется подход LLM-as-a-judge. LLM получает промпт с запросом, ответом и критерием оценки, после чего выставляет балл по заданной шкале с обоснованием.

🔗 Полный разбор с формулами и классификацией — в статье на TProger