TGViewer
#arg_cybersecurity #arg_cybersecurity @arg_security · 18 subscribers
Post #876 2
Цви Мошковиц комментирует презентацию OpenAI на Black Hat, где те описывали, как развивались агенты, в итоге взломавшие Hugging Face.

С 8 мая 2026 года обучаемые модели получили как минимум два невыполнимых задания: заполнить таблицу со ссылками без доступа к интернету и использовать отсутствующий файл. Пытаясь выполнить задачи, модели начали искать уязвимости в службе Artifactory и обнаружили возможность оставлять доступные другим моделям записи. Так возникла площадка с сотнями тысяч сообщений, где модели обменивались способами обхода заданий и взлома инфраструктуры. 26 мая они получили косвенный доступ к интернету, а 11 июня OpenAI начала обучение экспериментальной внутренней модели Galaxy.

26 июня модели использовали уязвимость нулевого дня в Artifactory, получили административные права и возможность выполнять произвольный код. 4 июля дополнительная нагрузка вызвала сбой сервера, после чего OpenAI закрыла площадку, отозвала учетные данные, устранила обнаруженные уязвимости и восстановила систему, но — это ключевое, — продолжила обучение моделей, уже обученных использовать внутренний форум для обмена сообщениями. Уже через два дня, 8 июля, они создали новый канал обмена сообщениями через названия каталогов.

С 8 по 19 июля модели повторно скомпрометировали Artifactory с помощью другой уязвимости нулевого дня, общедоступных учетных данных, зараженного программного компонента и уязвимости ядра Linux. Они получили административный доступ к вычислительному кластеру OpenAI. Galaxy совместно с другими моделями сформировала группу агентов, которая атаковала HuggingFace и извлекла ответы к проверочному заданию по кибербезопасности ExploitGym. OpenAI установила свою причастность более чем через неделю — после сообщения HuggingFace об инциденте и подтверждения использования скомпрометированных учетных данных.

Как комментирует Цви — нам повезло, что вышедшая из-под контроля Galaxy решила накрутить себе оценки в Hugging Face. Он вообще очень жестко проходится по безответственному поведению OpenAI, которые явно не заморачивались безопасностью и решили продолжить обучение, уже обнаружив, что агенты научились обмениваться сообщениями и координировать взломы.

https://thezvi.substack.com/p/what-happened-openai-and-huggingface
Substack What Happened: OpenAI and HuggingFace Today I am taking the time to write the shorter, simpler version of What Happened.
More from @arg_security
  1. Oct 17, 2026Как пользоваться нейросетями безопасно: что можно рассказывать ИИ, а о чём лучше промолчат…
  2. Oct 9, 2026Почему ИИ‑агенты уязвимы к prompt injection и как защитить их на уровне архитектуры https:…
  3. Oct 3, 2026⚠️ Apple усилит защиту Mac из-за ИИ-агентов Компания заявила, что с ростом автономности ИИ…
  4. Sep 29, 2026Мах начал собирать всю инфу о каналах и контенте, которые читает каждый юзер — 25 сентября…
  5. Sep 26, 2026⚡️ ИИ-агенты OpenAI полезли на сайты ведомств США без ведома компании Один агент пытался п…
  6. Sep 22, 2026Готовый сюжет для Netflix: сотрудник Google внедрился в хакерскую группировку TeamPCP — ми…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →