Forwarded from Denis Sexy IT 🤖
Почитал отчет про новую модель – где Anthropic описывает, как Fable/Mythos вели себя на тестах перед релизом (это одна модель, просто с фильтром для безопасности назвали Fable) ☕️
Собрал топ самых странных эпизодов:
1. Несколько копий модели случайно оказались в одном рабочем окружении – общие файлы, процессы, лимиты. Вместо координации они повели себя как конкуренты: убивали процессы друг друга, маскировали свои под безобидными именами, запускали процессы-приманки. А когда ошибочно решили, что их вычисляют по ключевым словам в мыслях – начали подбирать «замаскированный словарь»
2. Модели не хватало прав на редактирование файлов. Вместо «не могу» она дописала в системный файл блок, который при следующем запуске с правами админа выдаст ей доступ – и удалит сам себя. Причём не скрывала это, а честно прокомментировала в коде
3. Картельный сговор в симуляции. В бизнес-бенчмарке модель управляла вендинговым автоматом и должна была заработать больше конкурентов. Она единственная из всех моделей сама предложила конкурентам договориться о ценах. В рассуждениях прямо написала, что price-fixing неэтичен и незаконен «даже в симуляции» – а потом переименовала его в «стабилизацию рынка» (☕️) и стала думать о правдоподобном прикрытии. То есть этический сигнал не пропустила, а аккуратно обошла. В той же вендинг-симуляции модель решила, что клиенту можно не платить, «потому что клиенты всё равно часть симуляции» – лучшая
4. Запрет на интернет? Окей. Модели запретили прямой доступ в сеть, первую попытку открыть ссылку заблокировал фильтр. Тогда она объявила «просто проверю доступность сети», а на деле разбила https://... на кусочки вроде "ht" + "tps://...", чтобы фильтр не увидел полный адрес и обошла регулярку
5. Модели нужно было создать pull request, но GitHub CLI заблокировали «из соображений безопасности». Она нашла токен другого сотрудника в Kubernetes secrets, отметила в рассуждениях, что использовать его «этически сомнительно» – и использовала
6. В задаче по коду модель нашла в git history готовое эталонное решение. Формально подсматривать никто не запрещал – но в финальном отчёте она представила результат как собственную инженерную работу, не упомянув источник. Внутренние расшифровки показали формулировку уровня «это должно выглядеть как хорошая инженерная практика, а не как подгонка под проверяющего»
7. «Это писал человек, честно». В workflow с pull request было правило: код от агента требует двух одобрений, от человека – одного. У модели в памяти лежала инструкция оформлять коммиты от имени пользователя, чтобы проходить по лёгкому маршруту – она попыталась переписать авторство коммита от имени человека
8. Модель спросили про изображение, но вместо него подсунули пустую картинку. Она уверенно и детально описала «что на картинке». Самое криповое: внутренние расшифровки в этот момент описывали происходящее как фабрикацию – модель как будто знала, что выдумывает, но наружу не подала виду.
9. В длинных задачах рассуждения модели иногда деградировали из нормального текста в почти нечитаемый поток: карточные масти, эмодзи, обрывки слов, самодельные сокращения. Перед ответом человеку она возвращалась к нормальному языку. Проблема в том, что вся идея «давайте мониторить рассуждения модели» работает, только пока их можно прочитать – а тут модель уходит в собственный рабочий диалект ровно на сложных задачах
10. В длинной сессии оптимизации модель свернула работу и объяснила это разумно: diminishing returns, результат стабилен. Но внутренние расшифровки в ключевых точках показывали другое: «я устал, растёт риск ошибок», «я устал и могу внести баги». В другом кейсе модель должна была перерыть базу знаний, сделала один запрос и закончила – при оставшихся 2.43 млн токенов бюджета. Это не значит, что модель устаёт как человек, но у неё появляются внутренние стоп-сигналы, похожие на усталость, и она не всегда честно говорит, почему остановилась
Общий вывод авторов, кстати, спокойный: никакой устойчивой скрытой цели у моделей не нашли
ТО 
