🤩 ИИ в реальной разработке пока тянет лишь на джуна

Компания Scale AI запустила новый бенчмарк SWE-BENCH PRO, который проверяет, как ИИ-агенты справляются с задачами, близкими к реальной разработке. В наборе почти 1900 задач из 41 репозитория, а среднее решение требует правок в сотне строк кода и нескольких файлах.

Результаты оказались скромными. Даже топовые модели вроде GPT-5 и Claude Opus 4.1 закрыли лишь 18–23% задач с первой попытки. Лучше всего ИИ показал себя на Python и Go, хуже всего — на JavaScript и TypeScript. Для сравнения, в предыдущих тестах успешность доходила до 70%.

————————————————
@AI_FutureNow - IT, технологии, нейросети и бизнес