Всем привет!

Ранее я рассказывал про базовые метрики RAG AI, то есть когда AI генерирует ответы из дополненной вашими данными векторной БД.

Одна из основных метрик - это релевантность найденного контекста (context relevancy), поэтому сегодня я хочу рассказать, как она измеряется.

Контекст - это данные (слова, фразы, предложения), которые AI получает из векторной БД. Поиск происходит с помощью специального метода/инструмента retriever, который анализирует пользовательский запрос и пытается найти релевантные данные для ответа. Следовательно метрика считается как кол-во релевантных данных на общее кол-во данных, получаемых при запросе. Например, если на пользовательский запрос «Дай информацию о проекте X”, retriever получил 3 предложения, описывающих проект X и два предложения о проекте Y, то релевантность контекста будет 3/5=0,6 или 60%.

Очень важно, что бы контекст максимально релевантен запросу, потому что именно он используется AI для генерации ответа и если в контексте будет много нерелевантной информации, то риск галлюцинации и некорректного ответа на запрос значительно возрастает.


Полезная информация:
Курс по evaluation AI |
С чего начать изучение AI | Инструменты для оценки AI