TGViewer
Тестирование и оценка ИИ Тестирование и оценка ИИ @testingofai · 1.37K subscribers
Post #79 822
В последнее время практически из каждого утюга слышно про использзование ИИ агентов в больщом количестве задачи областях и это не просто так по нескольким причинам:

1. Использование копайлотов, вайбкодинга сейчас позволяет практически каждому, кто даже не особо знаком с программированием, написать своего ИИ агента, который бы решал простые задачи, и получается, что порог входа стал в разы ниже, что позволяет создавать больше ИИ систем
2. ИИ агенты уже давно вышли на уровень, когда это не просто LLM или RAG, а полноценная система, которая может интегрироваться с внешними сервисами, самостоятельно принимать решения, делать самоанализ, самостоятельно находить и исправлять ошибки и многое другое, то есть получается что это уже система, которая частично может “думать” как человек в некоторых моментах, что позволяет создавать ИИ агентов практически для всего.

Но есть большой минус, такой прям жирный! Только 2-3% таких проектов реально доживают до стадии продакшена и действиельно начинают приносить пользу.

Почему так происходит? Все просто, написать агента легко, а проверить насколько качественно он работает, докрутить его до реально надежного и качественного решения, вот тут возникают сложности, и из-за того, что вайбкодеры или даже программисти могут написать код, но не знают как его стабилизировать, что ИИ агент действиельно выполнял поставленные цели, помимо отсутствия времени и желания, еще связано с особенностями их тестирования, потому что проверка качества работы ИИ агентов - это очень скурпулезная работа, которая требует очень хороших аналитических навыков.

И если вы тоже хотите научиться это делать, то всех жду на своем курсе eval-ai.com!


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
  • 👍 5
  • 🔥 3
More from @testingofai
  1. Sep 23, 2026Сейчас поднялся новый хайп вокруг модели JEV от TypeSafeAI, ну и я конечно же сразу стал р…
  2. Sep 22, 2026С чего начать оценку ИИ агента, если у вас сейчас есть только прототип вашего ИИ агента. П…
  3. Sep 17, 2026Сегодня хочу поговорить про оценку голосовых AI агентов, потому что иногда вижу, что коман…
  4. Sep 15, 2026Недавно наткнулся на разбор того, как одна команда переводила ИИ агента с Claude Opus на G…
  5. Sep 10, 2026Сегодня поговорим про ситуацию, с которой сталкивается почти каждый, кто начинает оцениват…
  6. Sep 2, 2026Обычно, чтобы оценить работу ИИ агента, нам нужны тест-кейсы, или по другому датасет оценк…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →