Когда агент работает через MCP-инструменты, стандартный "ответ правильный / неправильный" не работает. Нужно смотреть на то, что происходит внутри.

1. Tool selection accuracy измеряет, выбрал ли агент нужный инструмент. Звучит просто, но в реальных сценариях с 10+ инструментами агент не всегда выбирает тот что нужен

2. Argument correctness проверяет, передал ли правильные аргументы в тул. Инструмент вызван верный, но параметры кривые, как следствие задача феил, причем даже часто без явной ошибки. Это нужно проверять отдельно.

3. Task completion rate измеряет, дошел ли агент до нужного результата. Сквозная метрика по всей цепочке вызовов, а не только по финальному ответу.

4. Chain efficiency измеряет, сколько tool calls потребовалось. Агент решил задачу за 8 вызовов вместо 3? Значит что-то идет не так, тут либо проблема в инструкции, либо в промпте, либо в модели.

5. Error recovery rate показывает, как агент ведет себя, когда инструмент (MCP) вернул ошибку. Попробовал ли агент другой путь или сразу сдался? Это один из главных индикаторов зрелости и стабильности работы агента.

Обычно все пять метрик снимаются из трейсов, поэтому без нормального трейсинга вы просто не увидите, что происходит внутри, осюда вывод, неважно какой агент, просите девелоперов всегда продключать системы сбора трейсов для ИИ агентов, включая ваши собственные харнес, которые вы строите для помощи в своей работе.


⚡️⚡️Старт нового потока на курсе по тестированию ИИ - 9 сентября! 🔥


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)