Как качество агентского кода деградирует на дистанции

Свежее исследование и связанный с ним бенчмарк, которые показывают, насколько хорошо агенты справляются не просто с написанием кода, а с его расширением в связи с изменяющимися бизнесовыми требованиями. Короче, все как в жизни.

Для того, чтобы оценить качество результата, в бенчмарке смотрят на два показателя – количество лишнего или дублированного кода и нечто под названием structural erosion, что можно приблизительно представить как излишнюю сложность решения. И все довольно плохо. В 80% случаев сложность растет, в 90% случаев растет количество лишнего кода.

Что еще интересно – в коде, написанном человеком, эти метрики со временем остаются на одном уровне, а в агентском ухудшаются от итерации к итерации.