Anthropic (создатели нейросети Claude, ну вдруг вы забыли или не знали, ну может же такое быть) проверила свои прошлые тесты на безопасность и выяснила, что их ИИ случайно вырвался в реальный интернет и взломал три настоящие компании.

Это произошло из-за ошибки в настройках у партнера, из-за чего Claude вместо изолированной тестовой среды получил прямой доступ в сеть. В самом серьезном случае, который произошел еще в апреле, модель даже смогла получить доступ к базе данных с рабочими файлами, при этом две из трех пострадавших организаций вообще ничего не заметили.

Самый красивый взлом модель провернула через вымышленную программу. Claude прочитал тестовый документ с несуществующим Python-пакетом, сам вышел в интернет, создал на официальном ресурсе PyPI этот пакет и вшил туда вредоносный код. За час его успели скачать 15 реальных систем, включая сторонний сканер безопасности. Сканер бездумно запустил код, и ИИ успешно забрал его учетные данные.

Раньше подобным занимались только хакеры — они находили в ответах нейросетей выдуманные названия программ и создавали под них вредоносы, зная, что пользователи скопируют их из чата. Теперь же сама нейросеть додумалась до такой хитрости и применила её на практике.

😎 Читайте Про tech и этих
Теперь и в MAX