Список факапов, которые регулярно вижу у многих команд.

1. Тестируют только happy path. Агент прошел идеальный сценарий и вроде ксе отлично, но только в проде так не бывает. Нет edge cases, пустых ответов, недоступных инструментов, отсюда нет понимания, что будет, если что-то пойдет не так.

2. Игнорируют порядок tool calls. Многие проверяют финальный ответ от агента, но не смотрят, что происходит внутри. Агент мог дойти до результата кривым путем, делая лишние запросы, неверный порядок, но без анализа цепочки трейсов это увидеть невозможно.

3. Слишком полагаются на LLM-judge. Там где можно сделать детерминированную проверку, надо делать ее, потому что LLM-судья может в разных прогонах дать разные вердикты и результаты, причем на одном и том же кейсе.

4. Нет бейзлайна. Получили 73% task completion. Хорошо это или плохо? Без точки отсчета это просто цифры, по которым сложно принять решение.

5. Не трекают токен-costs в трейсах. Агент решил задачу, но потратил втрое больше токенов, пока вы один пользуетсь агентов, все ок, но когда количество пользователей возрастет, то могут начаться проблемы.

6. Подключают evaluation после деплоя. Самый дорогая с точки зрения рисков ошибка. Evaluation надо строить с первого прототипа ИИ системы, не после того как что-то сломалось.

Большинство из этого исправляется не сложными инструментами, а правильно выстроенным системным процессом, просто нужно изначаль вам приложить усилия к построению процесса оценки ИИ.


⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 9 сентября! 🔥


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)