Кибербеза всё

Наверняка уже слышали про выход агента из изолированной среды и взлом им Hugging Face (крупнейшего репозитория со всеми открытыми моделями и датасетами). Вчера по нему вышел апдейт, давайте посмотрим, что вообще произошло.

OpenAI тестировала свои модели на бенчмарке ExploitGym, специальном тесте на 800+ заданий на поиск и эксплуатацию уязвимостей.

Делал всё это агент на тестовых серверах компании в автономном режиме. Во время прохождения тестов агент решил, что логично было бы найти сразу ответы. И начал искать.

9 июля агент начал искать способ выйти из изолированной среды. Нашёл zero day уязвимость в прокси-сервере и начал перемещаться между узлами, пока не нашёл машину с доступом в интернет.

По мере поиска выхода агент оставлял инструкции в среде, чтобы последующие запуски учитывали предыдущие знания о ней.

11 июля агент начал атаковать сервера Hugging Face, чтобы скачать датасет с ответами.

За два дня атаки он смог загрузить вредоносный датасет и смог удалённо запускать код на одном из worker серверов. Повысил себе привелегии, собрал креды и начал перемещаться по узлам.

Ответы агент нашёл, взяв их напрямую из продуктовой базы данных (obtain test solutions directly from Hugging Face’s production database).

16 июля HF сообщила об инциденте, но прикола не поняла. Проанализировали логи и увидели более 17 тысяч связанных с атакой записей в нём. Количество само по себе мало о чем говорит, но так они смогли установить интервал атаки и какие именно учётные записи утекли.

Только ещё через два дня, 18 июля, сотрудники OpenAI поняли, что это сделали они и начали анализировать логи побега.

20 июля связались с HF и 21 июля написали об этом у себя.

То есть что мы имеем? Модель несколько дней атаковала чужой сервер, а разработчики этого не заметили. Атакуемый сервер не смог использовать самые сильные модели на рынке для противостояния и анализа, так как эти модели закрытые и пропитаны safety (отклоняют любые запросы по части кибербезопасности), поэтому для анализа использовали GLM 5.2.

То, что авторы не заметили взлом, который длился два дня, это, конечно, позор. Уверен, что будут лучше смотреть.

А вот то, что обороняемая сторона с публичными серверами и миллионами учёток не в силах противостоять такому натиску, это тревожно. CEO Hugging Face в связи с этим попросил все доступные трейсы инцидента со стороны OpenAI и в довесок $100M на разработку моделей для защиты. Следим за развитием событий.