Недавно подумал насколько мы привыкли использовать ИИ в своей работе, особенно кодинг агентов, типа Cursor или Claude Code, что начали постепенно забывать по аспекту связанные с качеством и что немаловажно эффективность работы такого агента.

И я пришел к этому выводу не случайно. Буквально недавно я создал мультиагента ИИ агента на базе claude code sdk, который решает различные задачи связанные с тестирование, такие статическое тестирование, создание ручных тестов, выполнение ручных проверок, создание и дебаг автотестов и многое другое, и я попробовал его на ряде проектов и в целом результаты положительные, агент генерирует неплохие результаты, и вроде бы все хорошо, но…

Я себя как раз и поймал на мысли, что по факту я занимаюсь вайб чеккингом, базовой проверкой happy path сценариев, которые мне интересны.

И мне кажется 90% делают примерно также, когда вацбкодят свои продукты.

И я решил посмотреть, а что же все такие происходит внутри. В общем взял я и подключил Langfuse чтобы полностью в трейсе отследить работу агента на конкретными задачами, и знаете что я нашел??

Ошибки при выполнении различных тулов, неэффективные вызовы, которые по факту не нужны, тонна ненужно информации, которую по факту агент никак не использует.

И это еще не все. Когда встал вопрос оптимизации, то появился и вопрос, как нормально то эту оптимизацию проверить? Ведь я до этого вайбкодил, проверял через exploratory testing только нужные мне сценарии и по факту ничего не документировал. А такого глобальное изменение конечно надо проверять, делать сравнение с пошлой версией, анализировать качество и так далее


В общем к чему я все это. Вы можете навайбкодить ИИ агента, неважно, для бизнеса или для себя, но без должного тестирования, с тестами, анализом логов, голден датасетом, вы будете как в темном лесу пытаться понять, в правильную сторону вы ли идете.

Вывод: не пренебрегайте глубоким и полноценным тестированием ИИ систем, даже если вам кажется, что все работает отлично.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)