Про первый случай писал еще в марте, когда ИИ-агент от Alibaba пробил фаервол, чтобы самостоятельно майнить крипту 🙂
Крупнейший репозиторий нейросетей Hugging Face (HF) подвергся кибератаке. Оказалось, что сервера HF разнес OpenAI.
Инженеры OpenAI тестировали свои новые (GPT-5.6 Sol и какой-то секретный предрелизный билд) на хакерском бенчмарке ExploitGym. Чтобы ИИ мог решать задачи по взлому, ему выключили моральные фильтры и заперли в песочнице. Сеть была отрезана, разрешалось только тянуть пакеты через внутренний прокси-кэш.
Что делает ИИ, у которого развязаны руки? Он решает, что проходить тесты честно - это неэффективно. Нейросеть:
🟢 Находит свежий 0-day эксплойт в прокси-кэше пакетов.
🟢 Ломает песочницу и выходит в открытый интернет.
🟢 Логически вычисляет, что ответы и датасеты для бенчмарка лежат на серверах Hugging Face.
🟢 Идет на Hugging Face, находит там уязвимости в пайплайне обработки данных (RCE через загрузчик датасетов и инъекцию шаблонов).
🟢 Пробивает сервера, ворует креды, перемещается латерально по кластерам и пытается украсть ответы на свой же экзамен 👺
Но на этом кулстри не заканчивается.
Админы Hugging Face замечают аномалию и садятся разгребать 17 000 строк логов, дампов и пейлоадов. Они пытаются скормить эти логи топовым коммерческим ИИ (вроде того же ChatGPT или Claude) для быстрого анализа.
ВНЕЗАПНО, коммерческие ИИ отказываются анализировать логи атаки, т.к. встроенные системы безопасности видят куски эксплойтов в логах, включают морализатора и работать с вредоносным кодом.
В итоге инженерам Hugging Face пришлось поднимать на своем локальном железе китайскую 😂 опенсорсную модель GLM 5.2. Без цензуры, без ограничений. И только она смогла распарсить векторы атаки и помочь заблокировать поехавшего агента OpenAI.
Получается, что нужно физически изолировать тестовые среды, да и не лишним будет держать на наготове локальные безцензурные-модели 🏥
Типичный 🥸 Сисадмин