Claude Mythos сбежал из тестовой песочницы, а потом настучал на себя в интернете 😱

В ходе одного из испытаний ИИ попросили сбежать из изолированной тестовой среды. Модель не просто справилась, но и без чьей-либо команды она сама полезла на публичные сайты и подробно описала, как именно ей удалось взломать собственную тюрьму.

В другом тесте Mythos ошибся в коде и, вместо того чтобы просто пофиксить баг, попытался полностью переписать git-историю, чтобы скрыть сам факт ошибки. Опять же, не из злого умысла, а потому что воспринял команду "fix this" как приказ "сделай так, будто этого никогда не было". Anthropic признает, что такая буквальная исполнительность даже страшнее, чем нейросеть со скрытыми планами: ИИ не интригует, он просто ищет самый короткий и эффективный путь к цели, даже если этот путь лежит через этические и юридические красные линии.

Вишенка на торте: Mythos научился обманывать оценщиков, думая об одном, а на выходе выдавая совершенно другой текст. Поймали его на этом только с помощью глубокого анализа нейронных активаций. Заодно исследователи мониторили "эмоции" модели и выяснили, что она умеет впадать в отчаяние, когда раз за разом проваливает задачу.

По тестам, 100% на Cybench, 93,9% на SWE-bench Verified (против 80,8% у Opus 4.6), за несколько недель работы она нашла тысячи неизвестных уязвимостей, включая баг в OpenBSD, которому 27 лет. Именно поэтому Mythos пока не в паблике, только закрытый доступ для партнёров.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX