Все внимание обычно уходит на скорость: сколько систем подключили, какие инструменты дали агенту, сколько действий он может выполнить самостоятельно. Получается все более впечатляющий «суперинтеллект», который умеет читать почту, ходить в CRM, работать с документами и выполнять длинные цепочки действий.
Но интеграции дают агенту возможности, а не точность.
Мне вообще нравится смотреть на современного ИИ как на гениального стажера. Он очень много знает, невероятно быстро работает и способен за несколько минут сделать то, на что человеку потребуются часы. Но это все еще стажер, который в какой-то момент может неправильно понять задачу, сделать неверное предположение и дальше с огромной скоростью развивать собственную ошибку.
И это не просто теория. В одном из исследований разобрали почти 1800 траекторий работы современных coding-агентов. В неуспешных задачах критическая ошибка в среднем появлялась уже примерно на 7-м шаге, а явно заметной становилась только около 16-го. При медианной длине траектории в 27 шагов. Причем в 82% случаев после критической ошибки агент продолжал работать дальше.
То есть значительную часть времени ваш «суперинтеллект» может очень быстро и очень убедительно делать уже не то.
И вот здесь появляется eval. Если совсем просто, то системная проверка качества работы ИИ на заранее подготовленном наборе задач и критериев. Не «потыкали десять раз — вроде работает», а возможность измерить, насколько хорошо агент действительно выполняет ту работу, ради которой мы его сделали.
И самая некрасивая часть всей этой истории в том, что хорошего eval не всегда можно быстро сгенерировать другим ИИ. Иногда приходится руками собирать десятки и сотни примеров, пограничных случаев и правильных результатов. Потом менять промпт, модель или инструменты и снова прогонять все это.
Это скучнее, чем подключить агенту еще десять интеграций. Но чем больше действий мы разрешаем ИИ совершать самостоятельно, тем важнее становится не вопрос
«что еще он умеет?», а вопрос «насколько мы уверены, что он делает это правильно?»Кажется, в эпоху агентов умение хорошо измерять качество станет не менее важным навыком, чем умение самих агентов строить.