Нейросети с треском провалили тест на поддержку проектов 😳

Все мы знаем, что нейросети научились бодро писать скрипты с нуля по одному промпту. Но что будет, если доверить алгоритму поддержку реального проекта на долгой дистанции? Исследователи из Alibaba выкатили новый бенчмарк SWE-CI, который симулирует не разовую починку бага, а суровые будни продакшена: месяцы работы, десятки коммитов и растущий технический долг.

Оказалось, хваленые ИИ-агенты абсолютно не умеют поддерживать кодовую базу. Стоит им уйти чуть дальше старта, как они начинают нещадно ломать то, что сами же написали вчера.

В бенчмарке алгоритмы гоняли через виртуальные циклы разработки длиной почти в год, разделив ИИ на роли "Архитектора" и "Программиста". Но в реальном CI/CD пайплайне есть жесткое правило: если твой новый код роняет старые тесты (регрессия), пулл-реквест летит в мусорку. Так вот, 15 из 18 топовых моделей эпично провалили этот базовый экзамен на профпригодность, показав результат безрегрессионной работы ниже 37%. Нейросети просто тонут в последствиях собственных архитектурных костылей, выбирая быстрые решения вместо надежных.

Наклепать формочку авторизации ИИ может за секунду, а вот разгребать легаси-ад и поддерживать проект годами всё еще придется кожаным мешкам с оплатой по часам.

🥸 godnoTECH - Новости IT