На датазавтраке обсуждали способы оценки качества RAG

Варианты:
* как понравится пользователям - так и хорошо (ненадежно, трудно использовать для итеративного улучшения)
* LLM арена между несколькими вариантами (медленная оценка, в остальном норм, если на это есть ресурсы и время)
* LLM как судья (нужен размеченный датасет, трудно добиться совпадения оценки с человеческой, постоянное переобучение под датасет)
* Измерение каждого отдельного этапа (ретривел, суммаризация, переформулировка) - красиво но обычно непонятно как сделать

Предлагал заменить бинарную оценку "нравится-не нравится" на оценку по нескольким критериям (полнота извлечения и что там еще конечный пользователь может оценить)
+ сохранять для всех неидеально оцененных запросов лог - что происходило в системе и с промптами на каждом этапе.
Затем разметчиком вручную размечать, на каком именно этапе произошла ошибка (с предположением что первая ошибка в пайплайне определяющая)
И затем выучить простую модель, которая по оценке из нескольких критериев подсвечивает ошибочный этап RAG
И так отлаживаться, по мере необходимости доразмечая логи исполнения запросов


Цель - связать оценочные критерии с этапами, чтобы постоянно улучшать и подкручивать систему