Ученые из Alibaba решили оценить способность ИИ не просто кодить, а именно поддерживать созданное в долгосрочной перспективе. Кратко о результатах:
— В эксперименте взяли 18 топовых моделей и дали им 100 задач, каждая из которых моделирует реальную историю проекта с GitHub — примерно 233 дня разработки и 71 коммит.
— В результате 75% моделей просто постепенно ухудшали кодовую базу и ломали ранее работавший код во время поддержки;
— Самыми адекватными оказались Claude Opus 4.5 и 4.6 — они держатся выше 50% zero-regression rate.
✖️ xCode Journal