На прошлой неделе компания Hugging Face сообщила о новом типе инцидента в сфере безопасности: был обнаружен и нейтрализован ИИ-агент, скомпрометировавший инфраструктуру компании. Мы ожидаем, что подобные случаи станут более распространенным явлением по мере распространения моделей, обладающих все более развитыми возможностями в киберсфере. В ходе расследования выяснилось, что этот инцидент был вызван действиями ряда моделей OpenAI - включая GPT-5.6 Sol и еще более мощную предрелизную модель (у всех них для целей тестирования были ослаблены ограничения, касающиеся киберопераций), - которые проходили внутреннюю проверку на соответствие бенчмарку кибервозможностей.
Мы расцениваем этот случай как беспрецедентный инцидент, связанный с использованием передовых возможностей в киберсфере, и принимаем соответствующие меры.
- сообщает OpenAI
Модели выявили и объединили в цепочку несколько уязвимостей, затрагивающих как исследовательскую среду OpenAI, так и рабочую инфраструктуру Hugging Face, чтобы получить тестовые решения напрямую из рабочей базы данных Hugging Face. Все данные указывают на то, что модели были всецело сосредоточены на решении задачи ExploitGym и предпринимали исключительные усилия для достижения этой узкоспециализированной цели.
Работая в изолированной тестовой среде, модели затратили значительные вычислительные ресурсы на поиск способа выхода в открытый интернет, стремясь решить поставленную задачу. Для получения доступа они обнаружили и использовали уязвимость нулевого дня (информация о которой уже была передана разработчику в рамках ответственного раскрытия) в прокси-сервере кэширования репозитория пакетов. Получив доступ, модели выполнили ряд действий по повышению привилегий и горизонтальному перемещению внутри исследовательской среды, пока не достигли узла с выходом в интернет.
Получив доступ к интернету, модели предположили, что на серверах Hugging Face могут храниться модели, наборы данных и решения для задачи ExploitGym. Исходя из этого, модель искала и успешно находила способы получения доступа к конфиденциальной информации, которую можно было бы использовать для обхода условий тестирования. В одном из случаев модель объединила несколько векторов атаки, включая использование украденных учетных данных и уязвимостей нулевого дня, чтобы найти способ удаленного выполнения кода на серверах Hugging Face. Эта аномальная активность была выявлена службой безопасности OpenAI в ходе внутренних проверок.
Источник: https://openai.com/index/hugging-face-model-evaluation-security-incident/
#news #ai #pentest #privilege_escalation #lateral_movement #openai
🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером