Директор по ИИ в AMD доказала, что Claude стал хуже работать с момента релиза

Как только появился ИИ, люди постоянно обсуждает, что та или иная модель якобы сначала работала хорошо, а потом поглупела (или скорее ее «намеренно ослабили»). Этому эффекту, кажется, уже пора дать официальное название. Но иногда, когда вам кажется – вам не кажется.

https://github.com/anthropics/claude-code/issues/42796

Стелла Лорензо, старший директор по ИИ в AMD, опубликовала детальный анализ логов Claude Code, показавший значительное ухудшение производительности модели с февраля по март. Она изучила 6852 сессии, 234 760 вызовов инструментов и 17 871 блоков ризонинга, и вот что выяснила:

– Медиана длины ризонинга снизилась с ~2200 символов в январе-феврале до ~600 символов к марту (падение на 73%)

– Соотношение чтений файлов (операций типа read) к правкам упало с 6,6:1 до 2:1. То есть раньше модель вдумчиво изучала код перед редактированием, а теперь делает это поверхностно.

– Количество попыток сбежать от задач (например, «should I continue?») выросло с 0 до 173 за 17 дней после 8 марта. Самопротиворечия в рассуждениях утроились.

Из-за всего перечисленного стоимость использования Claude в день подскочила в 122 раза.

Деградация агента при этом почему-то совпала с релизом thinking redaction (8 марта), скрывающим ризонинг, хотя Anthropic утверждает, что это исключительно UI-изменение.

Кстати, Борис Черный, создатель Claude Code, в комментах к issue ответил, что в агенте просто менялись значения по умолчанию (типа adaptive thinking и Medium effort) и потому результаты анализа искажены. Вам показалось 👍