☝🏻За Claude установили слежку: проверяют, глупеет ли он после релиза

Разработчик под ником ninjahawk запустил livenerf — открытый бенчмарк, который отвечает на один вопрос: становится ли модель тихо хуже после выхода.

Пользователи месяцами жалуются, что Anthropic «нерфит» модели через несколько дней или недель после релиза.
Чистой точки отсчёта ни у кого не было, поэтому спор сводился к «ощущения против ощущений».🤷🏼‍♀️

Claude Opus 5.5 вышел 22 сентября, замеры стартовали 24-го.

Как это устроено:
🔻 из 2336 задач (GPQA Diamond, MMLU-Pro, олимпиадная математика) отобрали 78 — те, на которых модель отвечает верно лишь иногда
🔻 панель прогоняют раз в день в течение 30 дней, первые 10 дней — эталон
🔻 промпты заморожены, версия Claude Code зафиксирована, ответы сверяются точным совпадением — без ИИ-судьи
🔻 параллельно идёт контрольная Opus 5: если просели обе модели, изменилась платформа, а не Opus 5.5

☝🏻Главный побочный сигнал — число выходных токенов: если модель начнёт «думать меньше», это видно раньше, чем упадёт точность.

Работает всё на Inspect — открытом фреймворке британского института безопасности ИИ, через обычную подписку Max, без API-ключа.

Пока собрано 6 дней из 30, первый вердикт — примерно 24 октября.

Автор обещает показывать улучшения так же громко, как ухудшения. Через месяц у спора про «нерф» впервые появятся цифры вместо ощущений.📊
================
У этого канала есть YouTube👁