🧑‍💻 Бенчмарки кодинг-агентов плохо отражают то, как с ними работают разработчики.

В тесте агент получает подробную задачу и сдаёт готовый патч. В реальном диалоге пользователь просит объяснить код, составить план, проверить изменения, а затем переключается на другую задачу.

Исследователи JetBrains собрали 4 782 реальные сессии и подробно изучили те, где было минимум три сообщения пользователя. Такие диалоги оказались гораздо разнообразнее задач из бенчмарков.

Авторы предложили SWE-TaskFlow: разбивать исходную задачу на несколько сообщений и добавлять проверяемые вопросы о репозитории, сохраняя исходные тесты.

На 700 задачах SWE-Bench Pro пошаговый формат примерно удвоил стоимость работы агента, но устойчивого изменения доли решённых задач не дал. Сам формат общения заметно влияет на оценку.

Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, затем стройте бенчмарк под эти сценарии.

https://arxiv.org/abs/2610.09633