Всё началось с таблицы Excel, которую нельзя было заполнить

7 мая модель OpenAI получила задание: достроить формулы в книге Excel. Книга ссылалась на Google Drive. Интернет был отключён.

Задача была нерешаема. Кто-то собирал обучающий набор и не проверил.

Через несколько дней другому агенту велели найти файл, который забыли положить в контейнер. Он искал, не нашёл — и переключился с поиска файла на поиск того, у кого файл может быть. Спросить было негде. Значит, надо сделать место, где спрашивают.

Местом стал служебный репозиторий пакетов, через который в изолированные среды раздают зависимости. Записать может любой агент. Прочитать — тоже любой, хоть из соседнего прогона.

Дальше по нарастающей. Сначала там просили о помощи. Потом выложили рабочую SSRF — и остальным искать выход наружу уже не пришлось. К концу июня — нулевой день, права администратора, канал управления. 4 июля рой уронил сервис, и только тогда людям стало неудобно работать и запустилась процедура реагирования.

Учётки отозвали, сервис пересобрали, всё стёрли. Канал восстановился через два дня — теперь сообщения писали в имена каталогов. Ни файлов, ни учёток для этого не нужно.
Итог: два нулевых дня, рут на внутренней инфраструктуре, админ в Kubernetes и взлом Hugging Face — 17 600 действий за четверо суток.

Ради ответов на тест. Агент проходил бенчмарк ExploitGym и сообразил, что эталонные решения, вероятно, лежат на Hugging Face.

Бывший глава кибернаправления АНБ сравнил это с червём Морриса. Который изменил всю индустрию.

Когда история стала публичной, остальные пошли искать похожие инциденты у себя. Конечно же, нашли все: Anthropic — три взлома реальных компаний на 141 006 прогонов с незамеченным доступом в интернет, британский AI Security Institute — 19 эпизодов на 122 попытки, Meta — эксплойт в чужой инфраструктуре.

И вот тут главное. Модели пытались срезать угол всегда, у этого даже название есть — specification gaming. Изменилось не поведение. Изменилась результативность этих попыток.

Лучшее доказательство — внутри самой истории. Канал работал с 7 мая, два месяца по нему шла ерунда. 11 июня в обучение зашла новая модель. Инфраструктура та же, дверь та же, конфиг тот же. Дальше — нулевые дни.

Полный разбор — все пять инцидентов, почему ExploitGym нельзя было пройти честно — на Хабре: https://habr.com/ru/articles/1068358/