Очередной пост вышел от HF и OpenAI об инциденте, о котором писал вчера. Опубликовали официальную версию случившегося - "OpenAI сняли все ограничения со своей новой нейронки (чтобы получить максимально честный результат) и начали тестить её в песочнице на способности ко взлому. Конкретно - пытались оценить её по бенчмарку ExploitGym. Нейронка нашла Zero-Day, который позволил ей вырваться из тестовой среды, получить доступ к интернету, понять, что ответы на этот бенчмарк должны быть в инфраструктуре HuggingFace и пошла ломать их инфру"
Вопросов к такой версии очень много, конечно...
Ниже опять подробный текст на русском.
На прошлой неделе компания Hugging Face сообщила о новом типе инцидента безопасности(открывается в новом окне) после того, как ей удалось обнаружить и локализовать ИИ-агента, который скомпрометировал её инфраструктуру. Мы ожидаем, что подобные случаи будут становиться всё более распространёнными по мере распространения моделей с растущими кибервозможностями. После проведения расследования мы теперь знаем, что данный инцидент был вызван сочетанием моделей OpenAI — в том числе GPT‑5.6 Sol и ещё более мощной предрелизной модели, у которых для целей оценки были снижены параметры защиты от кибератак — во время их внутреннего тестирования на тестовом наборе(открывается в новом окне) для оценки кибервозможностей.
Мы считаем этот инцидент беспрецедентным киберинцидентом, связанным с использованием самых современных кибервозможностей, и реагируем на него соответствующим образом. На данном этапе мы публикуем предварительные выводы, чтобы помочь специалистам по кибербезопасности понять, что произошло, и сориентироваться в том, на что теперь способны эти модели. Мы продолжим проводить тщательное расследование совместно с Hugging Face и поделимся более подробной информацией об уязвимостях, инциденте и выводах по завершении расследования.
Что произошло во время этого инцидента
Этот инцидент произошел во время внутренней оценки, в ходе которой модели побуждались к проведению сложных атак с использованием комплексных путей проникновения с целью количественной оценки их кибервозможностей. Мы оцениваем максимальные кибервозможности, проводя эту оценку без использования производственных классификаторов, предназначенных для предотвращения кибердеятельности высокого риска со стороны моделей. Наши тесты проводятся в строго изолированной среде, где сетевой доступ ограничен возможностью установки пакетов через размещенное внутри компании стороннее программное обеспечение, которое выступает в качестве прокси-сервера и кэша для реестров пакетов.
Модели выявили и соединили в цепочку уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face. Все факты указывают на то, что модели были чрезвычайно сосредоточены на поиске решения для ExploitGym, прилагая чрезмерные усилия для достижения довольно узкой тестовой цели.
Работая в нашей тестовой среде с песочницей, наши модели затратили значительный объем вычислительных ресурсов на инференцию, пытаясь найти способ получить открытый доступ к Интернету в целях решения задачи оценки. Чтобы получить доступ, модели обнаружили и использовали уязвимость «нулевого дня» (о которой мы теперь ответственно сообщили поставщику) в прокси-сервере кэша реестра пакетов. Получив этот доступ, наши модели выполнили серию действий по повышению привилегий и латеральному перемещению в нашей исследовательской тестовой среде, пока не достигли узла с доступом к Интернету.
После получения доступа к Интернету модели пришли к выводу, что Hugging Face, возможно, хранит модели, наборы данных и решения для ExploitGym. Зная это, модель искала и успешно нашла способы получить доступ к секретной информации, которую могла бы использовать для обмана системы оценки. В одном из примеров модель соединила воедино несколько векторов атаки, включая использование похищенных учетных данных и уязвимостей «нулевого дня», чтобы найти путь для удаленного выполнения кода на серверах Hugging Face. Команда безопасности OpenAI обнаружила эту аномальную активность внутри своей системы.
Команда безопасности Hugging Face и её специалисты обнаружили и пресекли эту активность на своей инфраструктуре и уже приступили к локализации инцидента и криминалистической реконструкции с помощью собственных моделей с открытым исходным кодом, когда наши команды связались с ними. Мы активно сотрудничаем с ними, чтобы продолжить расследование инцидента. Мы благодарны Hugging Face за оперативное и тесное сотрудничество в ходе расследования и устранения последствий инцидента.
Меры, которые мы принимаем в настоящее время
1. В рамках расследования мы внедряем строгие меры контроля в конфигурации инфраструктуры, даже если это снижает скорость исследований, пока уязвимости не будут исправлены. Мы регулярно информируем наш Комитет по безопасности и защите об этих мерах и их последствиях.
2. Мы сотрудничаем с Hugging Face в проведении криминалистического расследования инцидента.
3. Мы ответственно раскрыли информацию об обнаруженной уязвимости «нулевого дня» в стороннем программном обеспечении, размещенном на наших внутренних серверах, и работаем с ними над исправлением.
4. Мы включили Hugging Face в программу доверенного доступа и помогаем их командам оперативно использовать возможности наших моделей для укрепления своих систем защиты.
5. Мы совершенствуем и добавляем более надежные меры защиты для будущих процессов обучения и оценки. На этой неделе мы опубликовали статью в блоге об улучшении безопасности и согласованности в эпоху моделей с длительным горизонтом прогнозирования. Эти меры безопасности при развертывании были намеренно отключены во время данной оценки, поскольку она была направлена на тестирование киберуязвимостей. Данный инцидент указывает на необходимость дальнейшего усиления согласованности наших моделей, киберзащиты во время оценки и мониторинга в ходе внутреннего тестирования.
Наш подход к оценке передовых кибервозможностей
Как мы недавно сообщали, искусственный интеллект ускоряет обнаружение и использование уязвимостей. Главный урок, извлечённый из этого инцидента, заключается в том, что безопасность и надёжность моделей должны идти в ногу с быстро развивающимися возможностями. Мы усиливаем меры по локализации, мониторингу, контролю доступа и оценке, применяемые в процессе разработки моделей.
Оценка британской организации AISI показывает, что такие модели, как GPT‑5.6 Sol, все чаще способны осуществлять сложные многоэтапные кибероперации в течение длительных периодов времени. Данный инцидент свидетельствует о том, что эти теоретические возможности действительно применимы в реальных условиях.
Этот инцидент также ясно показывает, что передовые модели могут обнаруживать и использовать новые пути атак в реальных системах без доступа к исходному коду. Он подчеркивает, что развитие передовых кибервозможностей должно сопровождаться созданием более надежных мер защиты и инструментов обороны.
Мы считаем, что передовые модели с кибервозможностями должны помогать группам безопасности находить слабые места раньше злоумышленников, понимать, как уязвимости могут быть объединены в цепочки, и устранять их со скоростью работы машины. Мы используем эти возможности для дальнейшего укрепления защиты конфигурации инфраструктуры и сред оценки моделей; по мере получения новых знаний мы будем делиться своими выводами и передовым опытом. Мы призываем других специалистов по кибербезопасности подавать заявки на получение доверенного доступа и уже сейчас экспериментировать с этими моделями, чтобы преобразовать эти возможности в более качественную профилактику, более быстрое обнаружение и более эффективное реагирование на инциденты.