😁 Оказалось, что ИИ-агенты не умеют поддерживать код

Ученые из Alibaba решили оценить способность ИИ не просто кодить, а именно поддерживать созданное в долгосрочной перспективе. Кратко о результатах:

— В эксперименте взяли 18 топовых моделей и дали им 100 задач, каждая из которых моделирует реальную историю проекта с GitHub — примерно 233 дня разработки и 71 коммит.

— В результате 75% моделей просто постепенно ухудшали кодовую базу и ломали ранее работавший код во время поддержки;

— Самыми адекватными оказались Claude Opus 4.5 и 4.6 — они держатся выше 50% zero-regression rate.

✖️ xCode Journal