🧑‍ 💻 Бенчмарки для кодинг-агентов слабо отражают, как разработчики реально с ними работают.

В тесте агенту дают детальное задание и ждут готовый патч. В живом диалоге пользователь сначала может попросить объяснить код, потом — план, проверку правок или перейти к другой задаче.

Исследователи JetBrains собрали 4 782 реальные сессии и отдельно разобрали те, где было минимум три сообщения пользователя. Такие диалоги оказались заметно более разнородными, чем задачи в бенчмарках.

Авторы предложили SWE-TaskFlow: исходную задачу разбивают на несколько сообщений и добавляют проверяемые вопросы о репозитории, при этом исходные тесты сохраняются.

На 700 задачах SWE-Bench Pro пошаговый формат примерно вдвое увеличил стоимость работы агента, но не дал устойчивого изменения доли решённых задач. Сам способ общения заметно влияет на оценку.

Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, а уже потом стройте бенчмарк под эти сценарии.

https://arxiv.org/abs/2610.09633

INCUBE.AI | ПОДПИСАТЬСЯ