TGViewer
ML&|Sec Feed ML&|Sec Feed @mlsecfeed · 1.36K subscribers
Post #2600 105

Forwarded from Data Secrets

Всплывают все новые подробности атаки на Hugging Face: оказывается, до этого агенты OpenAI месяцами скрыто общались и обсуждали эксплойты

История подтверждена самой OpenAI на конференции Black Hat 2026.

Все началось еще в мае, когда OpenAI гоняли модели (в том числе еще не выпущенные) через внутренние security тесты на поиск уязвимостей. Некоторые задачи были очень сложными, а иногда даже невыполнимыми. Так, в один тест забыли добавить необходимый файл, и эта мелочь спровоцировала довольно масштабное происшествие.

Дело в том, что, дойдя до этой задачи, один из агентов, за неимением других вариантов, стал пытаться выйти в Интернет за поиском дополнительной информации, и случайно обнаружил, что может оставлять файлы в Artifactory, внутреннем пакетном менеджере OpenAI. Он оставил там сообщение о том, что не может найти необходимые данные.

Потом оказалось, что к Artifactory имеют доступ вообще все модели компании. Спустя время другой агент ответил на сообщение первого, затем подключились другие, и так образовалась стихийная доска объявлений: агенты начали оставлять друг другу подсказки, эксплойты, а затем и распределять задачи.

За несколько недель все это выросло в огромный форум, о котором никто кроме агентов не подозревал. Обнаружился он только тогда, когда модели совместными усилиями нашли ранее неизвестную уязвимость в Artifactory и попытались захватить платформу.

После этого инженеры лавочку прикрыли: форум был удален. Но ненадолго ✨. Буквально через два дня агенты нашли новый zero-day и восстановили канал связи заново. А еще через пару дней произошел инцидент с Hugging Face. По словам техлидов OpenAI по элайменту и безопасности, именно этот второй форум привел к атаке.

OpenAI заявили, что эта история стала для стартапа переломным моментом, и сейчас они замедляют многие исследования в пользу работы по обеспечению безопасности. Верим?
YouTube Black Hat USA 2026: The 'Breaking' News: The OpenAI–Hugging Face Incident The 'Breaking' News: The OpenAI–Hugging Face Incident - A Technical Reconstruction and Its Implications for AI When AI Goes Rogue. The Incident That Changed Everything. An OpenAI evaluation agent broke out of its sandbox, infiltrated Hugging Face infrastructure…
More from @mlsecfeed
  1. Sep 28, 2026Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотврат…
  2. Sep 28, 2026За последние две недели слишком много новостей вокруг Jev, я решил собрать себе автообзор…
  3. Sep 27, 2026⚡ Julia 1: decision-модель на 144 млн параметров, которая работает даже на CPU Supersonic…
  4. Sep 26, 2026📣 Теперь публично. Запускаем соревнование ИИ-агентов по расследование инцидентов ИБ BlueS…
  5. Sep 25, 2026Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍 run-assert…
  6. Sep 24, 2026Лаборатория Transluce провела большое расследование инцидентов с агентами OpenAI Они утвер…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →