Сегодня про непрерывный мониторинг и обнаружение отклонений на продуктиве.

Контроль качества AI-систем не заканчивается на уровне предпродакшен тестов.
Даже если модель показала хорошие результаты на этапе разработки, в продакшене все может измениться, например, запросы другие, источники обновляются, контексты становятся шумнее. Без постоянного мониторинга качество генерации деградирует постепенно и незаметно.

Поэтому важен continuous evaluation, а именно отслеживание ключевых метрик качества прямо на проде.

Что обычно контролируют:
Answer accuracy - точность ответа модели относительно эталона или golden датасета.
Context relevance - насколько retrieved контекст действительно соответствует запросу.
Context precision / grounding - использует ли модель данные из найденного контекста или “галлюцинирует”.
Factual consistency - согласованность с фактами и источниками.
Response coherence / completeness - логическая целостность и полнота ответа.

Такие метрики считаются на реальных запросах (через golden датасет примеры, LLM as a Jurge или даже обучное человеческую оценку) и позволяют заметить деградацию AI-системы еще до жалоб пользователей.

В продакшне это реализуется через инструменты трейсинга вроде LangFuse, Arize, Galileo, EvidentlyAI, которые собирают данные все запросов, считают метрики и сигналят, если ответы стали менее точными, контекст менее релевантным и так далее.

Continuous evaluation - это тот же QA, только в продакшене, где мы проверяем не код, а качество работы модели в реальных условиях с целью успеть поймать деградацию системы до того момента, пока с этим явно столкнутся реальные пользователи.


Полезная информация:
Курс по evaluation AI |
Мой фремворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)