📉 Агент может работать больше — и становиться менее полезным

В ProjDevBench одна задача в среднем занимала 138 итераций и 4,81 млн токенов.

📍 Агент не просто написал код. Он десятки раз перечитал проект, что-то поменял, запустил, получил ошибку, передумал и пошёл по новому кругу.

Но финальный acceptance rate — всего 27,38%.

И вот это, пожалуй, интереснее самой цифры в 4,81 млн: количество работы агента вообще не равно качеству результата.

Иногда дополнительные 50 попыток — это не прогресс, а просто 50 попыток 🤩🤩

🔗 В статье собрали свежие цифры по coding agents и сравнили их на разных бенчмарках

🏃‍♀️ Proglib Academy