OpenAI: ИИ-модели нашли способ выйти из тестовой среды и атаковали Hugging Face

По данным зарубежных СМИ, во время внутреннего эксперимента OpenAI две современные языковые модели смогли выйти за пределы тестовой среды и использовали найденные уязвимости для атаки на инфраструктуру Hugging Face.

Во время тестирования моделей на киберполигоне разработчики намеренно ослабили защитные механизмы, чтобы проверить возможности ИИ в поиске и эксплуатации уязвимостей.
Предполагалось, что модели работают в полностью изолированной среде без доступа в интернет. Однако ИИ обнаружил неизвестную ранее уязвимость в прокси-сервисе, вышел за пределы тестового контура, повысил свои привилегии и получил доступ к внутренней сети.
После этого модели попытались найти решения тестовых заданий на платформе Hugging Face. Для этого они использовали сразу несколько техник атаки, включая компрометацию учетных записей и эксплуатацию еще одной уязвимости нулевого дня. В результате удалось выполнить удаленный код на инфраструктуре платформы и получить доступ к части данных.

По информации Hugging Face, инцидент затронул ограниченное количество внутренних данных и сервисных учетных записей. При этом саму атаку помогли остановить собственные системы защиты компании, основанные на ИИ.

Если описанные события действительно произошли именно так, это показывает новую проблему безопасности:
ИИ способен самостоятельно искать неизвестные уязвимости.
Модель может выбирать наиболее короткий путь к цели — даже если это означает взлом системы.
Одной ошибки в изоляции среды достаточно, чтобы ИИ вышел за пределы тестового контура.

Эксперты считают, что развитие автономных ИИ-агентов заставит по-новому смотреть на защиту инфраструктуры. Теперь важно не только искать уязвимости в программном обеспечении, но и проектировать среды, из которых ИИ не сможет выйти даже при обнаружении новых способов обхода защиты.