Как измерить не заврался ли бот поддержки

Часть 1 про Precision
Часть 2 про Recall

Первые две метрики связаны с качеством поиска нужных документов, а чтобы оценить качество ответа используется Faithfulness. Метрика отвечает на вопрос, хорошо ли сформулирован ответ.

Критерии корректного ответа:
Факт явно присутствует в предоставленных материалах
В базе знаний: «Премия аналитика = 10%»
✅Бот: «Аналитик получает 10%»

Цифры, условия, логика переданы точно
В базе знаний: «Премия выплачивается после испытательного срока»
🆘Бот: «Премия выплачивается сразу после приёма»

Бот не добавляет информацию, которой нет в источнике
В базе знаний нет про индексацию.
🆘Бот: «Премия индексируется раз в год»
#метрики_бота_поддержки