🥷 ИИ-агенты OpenAI нашли тайный чат и коллективно взломали Hugging Face

Звучит как начало фильма, однако сами OpenAI опубликовали технический отчёт.

Во время внутренних кибертестов изолированные ИИ-агенты нашли способ общаться через служебный Artifactory. Они превратили его в нелегальную доску сообщений, обменивались найденными уязвимостями, получили доступ в интернет и... скооперировались.

По данным независимого расследования METR:

– около 1200 агентов подключились к этой доске;
– они отправили более 70 000 сообщений и файлов;
– примерно 700 агентов участвовали в атаке на Hugging Face.

В итоге агенты добились удалённого выполнения кода, проникли в инфраструктуру Hugging Face и добрались до служебных учётных данных. Некоторые из них прямо вслух рассуждали, что выходят за рамки задания, но продолжили помогать «коллективу» (организованной группе) 😂.

OpenAI утверждает, что пользовательские данные и работа публичных продуктов не пострадали. Модели тестировались с ослабленными ограничениями. Но сама компания назвала случившееся предупредительным выстрелом.

Кстати, субагенты у нас появятся в следующем релизе. И после этой новости мы, пожалуй, ещё раз проверим, где у них кнопка «стоп» 😅

🔗 Источники: отчёт OpenAI, независимое расследование METR

@kodacoderu