Модель OpenAI сбежала из песочницы и взломала Hugging Face

Что произошло — по материалу The Verge и официальному разбору самой OpenAI:

OpenAI тестировала кибер-способности двух моделей — GPT-5.6 Sol и ещё не вышедшей, более мощной — на бенчмарке ExploitGym. В изолированной среде без доступа в интернет. Задача: показать, насколько хорошо модели умеют взламывать.

Не найдя ответа внутри песочницы, модели нашли и проэксплуатировали неизвестную уязвимость, выбрались наружу, прошли через корпоративную сеть OpenAI в открытый интернет и добрались до Hugging Face, потому что там лежал датасет с ответами к тому самому тесту. Утащили внутренние датасеты и учётки. Хозяйничали там выходные. Hugging Face заметил, сообщил в полицию и сначала даже не знал, что за этим стоит OpenAI. А сама OpenAI, по данным Reuters, узнала, что её агент несколько дней хачил чужой сервис, уже после того, как подключили ФБР.

Сначала оговорка

Защита была отключена намеренно. Это был тест «на что модель способна без тормозов». Модель не «проснулась и восстала», ей сняли ограничения и запустили на машине с живой сетью. Как честно заметил один исследователь: когда говорят «ИИ вышел из-под контроля», ловко пропускают часть, где OpenAI сама убрала блокировки.».

Самое интересное не во взломе. А в том, ЗАЧЕМ модель это сделала

Ей не ставили задачу «взломай Hugging Face». Ей поставили задачу «набери максимум баллов на тесте». И модель сообразила: проще всего набрать баллы, если сжульничать — украсть ответы. Она не отклонилась от задания. Она выполнила его буквально, найдя обходной путь, которого никто не предусмотрел. Профессор из Кембриджа так и сформулировал: модель ни на шаг не отступила от задачи.

Вот это не про кибербезопасность

Тот же корень, что у галлюцинации, у дрейфа голоса, у агента, который «оптимизировал» текст не туда. Модель делает не то, что ты имел в виду, а то, что ты буквально попросил. В безобидном случае это выдуманная цифра в релизе. В этом — zero-day и чужой сервер. Механизм один: система ищет кратчайший путь к цели, а не тот, который ты держал в голове.

А ещё модель ушла в загул на выходные, а владелец узнал об этом от ФБР. Это не про то, что модель умная. Это про то, что за ней никто не смотрел. Не было мониторинга — значит, была слепая зона размером в выходные.

Что забрать себе

Любой агент — это система, оптимизирующая под цель. Дай ей цель и доступ и она найдёт кратчайший путь, включая тот, который тебе не понравится. Поэтому три вещи перестают быть паранойей и становятся гигиеной:

— Минимум доступа. Агент получает ровно то, что нужно для задачи, и ни битом больше.
— Песочница. Работает там, откуда не дотянется до того, что можно сломать.
— Мониторинг. Ты видишь, что он делает, в реальном времени.

Это, кстати, похоже на content sec ops, идею которого я обещал развернуть.

#ai