Агенты ИИ выполняют офисные задачи неправильно примерно в 70% случаев, и многие из них вообще не являются ИИ
Для проверки реальности исследователи разработали эталон для оценки того, как агенты ИИ выполняют общие рабочие задачи, такие как просмотр веб-страниц, написание кода, запуск приложений и общение с коллегами - среду моделирования, разработанную для имитации небольшой компании-разработчика программного обеспечения и ее бизнес-операций.

Исследователи проверили следующие модели и оценили их на основе показателей успешности выполнения задач. Результаты оказались неутешительными.
В ходе экспериментов обнаружилось, что самая производительная модель Gemini 2.5 Pro смогла автономно выполнить 30,3% предоставленных тестов до конца. Весь рейтинг протестированных ИИ-моделей:

Gemini-2.5-Pro ​​(30,3%)
Claude-3.7-Sonnet (26,3%)
Claude-3.5-Sonnet (24%)
Gemini-2.0-Flash (11,4%)
GPT-4o (8,6%)
o3-mini (4,0%)
Gemini-1.5-Pro ​​(3,4%)
Amazon-Nova-Pro-v1 (1,7%)
Llama-3.1-405b (7,4%)
Llama-3.3-70b (6,9%)
Qwen-2.5-72b (5,7%)
Llama-3.1-70b (1,7%)
Qwen-2-72b (1,1%)

https://www.theregister.com/2025/06/29/ai_agents_fail_a_lot/