Как понять что AI-система не готова к продакшену? Я определил 7 признаков некачественно проведенной ИИ системы, которые я регулярно вижу:

1. Нет baseline метрик. То есть нет базовых показателей метрик, от которой можно отталкнуться для дальнейшей оценки, отсюда нет понимания что значит "хороший" результат и как определить, что следующая версия лучше или хуже текущей.

2. Тестировали только happy path. Проверяли только ожидаемые сценарии и типичные запросы, а реальные пользователи могут начать вести себя по другому.

3. Нет adversarial кейсов. Никто не пытался сломать систему нестандартными или противоречивыми запросами.

4. Нет автоматического регрессионного тестирования. Каждое обновление модели или изменение промпта уходит в продакшен без проверки, что существующее поведение не сломалось.

5. Нет мониторинга в продакшене. После деплоя никто не отслеживает процент галлюцинаций и качество ответов. Качество может начать деградировать незаметно, пока что-то не сломается достаточно серьезно.

6. Тестовый датасет собрала команда разработки. Он отражает то, как разработчики представляют взаимодействие с системой, а не то, что может происходить в реальности.

7. QA увидел систему впервые прямо перед релизом. К этому моменту уже нет времени исправить что-то существенное.

Согласны или нет, или есть что добавить? 👇


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)