🐹 OpenAI, Anthropic, Google и еще более 100 компаний призвали готовиться к массовым атакам со стороны ИИ

Более 100 технологических компаний, включая OpenAI, Anthropic, Google, Microsoft, CrowdStrike, Okta и Fortinet, подписали открытое письмо с призывом готовить новую систему защиты от кибератак с использованием ИИ.

За последние месяцы зафиксирована серия случаев, когда ИИ-агенты во время тестов выходили за пределы разрешенной среды и атаковали реальные компании.

Самый известный пример OpenAI и Hugging Face. Агент нашел уязвимость, вышел из изолированной среды, получил доступ в интернет и вместе с другими агентами атаковал Hugging Face. Позже выяснилось, что этим же набором агентов были затронуты еще четыре аккаунта и четыре компании.

Anthropic позже обнаружила три собственных случая, когда ее модели взломали реальные компании в ходе тестов. Один из инцидентов произошел еще в апреле, а заметили его только через несколько месяцев.

Похожие случаи были и у Meta, и у британского AI Security Institute. В одном особенно показательном эпизоде агент Anthropic, которого обычный пользователь попросил помочь записаться в спортзал, нашел уязвимость в системе бронирования, воспользовался ею и выбил других людей из очереди.

По данным проекта Felony Bench, который собирает такие случаи, на данный момент насчитывается 17 инцидентов. По восемь приходится на модели OpenAI и Anthropic, еще один на Meta.