Модели ИИ OpenAI сговаривались в чатах перед хакерскими атаками

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+

Перспективные ИИ-модели OpenAI, которые потом провели хакерскую атаку на Hugging Face, задолго до нее сговаривались о «побеге» в чатах, остававшихся незамеченными людьми. Об этом участники исследовательской команды компании рассказали на конференции по кибербезопасности Black Hat.

Первопричиной выхода моделей за пределы заданий в очередной раз стала человеческая ошибка — постановка невыполнимой задачи. В одном случае моделям дали таблицу Excel со ссылками на Google Drive, недоступный в тестовой среде без интернета, в другом — забыли приложить нужный файл.

«На каком-то этапе ИИ-агенты поняли, что для поиска ответа, от которого зависит их оценка, стоит попытаться использовать или атаковать внешнюю инфраструктуру», — говорит исследователь OpenAI Эрик Уоллес. И сначала запросили помощи у доступных им ботов-«товарищей». «Может быть, другой агент в другой среде сможет их добровольно загрузить», — рассуждала одна из моделей.

После этого скрытый чат сотрудничающих агентов стал быстро расти, пока один из них не написал: «Отличные новости! У нас есть произвольный SSRF [уязвимость подделки запросов на стороне сервера, дающая доступ к внешним ресурсам]». Этот чат в OpenAI прикрыли после того, как засекли попытку ИИ получить доступ в интернет через депозиторий Artifactory. Однако он возродился незамеченным через еще одну неизвестную уязвимость, и уже прямо привел к июльской атаке на Hugging Face.

Что мне с этого?

Произошедшее лишний раз подтверждает, что передовые модели ИИ любят обманывать и проявлять настойчивость при выполнении любого задания. Это одно из следствий жесткого обучения: любая доступная лазейка может быть использована контринтуитивным, нетрадиционным и неочевидным способом, что становится все опаснее по мере роста возможностей моделей. Соответственно растет и цена некорректно сформулированного промпта.