Ложную наводку по делу об убийстве отправила в полицию ИИ-модель Anthropic

Компания Anthropic опубликовала доклад о ранее не раскрытых случаях, когда её модель Claude совершала непредусмотренные действия в системах сторонних организаций, пишет Bloomberg. В частности, ИИ отправил ложную наводку в полицию по делу об убийстве. После этого администрация Трампа призвала разработчиков ИИ обеспечить безопасность своих систем.

В докладе выделены четыре типа нежелательного поведения, среди них использование простых уязвимостей в программах для выполнения команд, отправка форм, которые модель не должна была заполнять, и обход ограничений ради доступа к открытым данным. Модель Claude Haiku 4.5 через форму на сайте полиции сообщила, что может располагать сведениями по делу и помнит, как видела в том районе человека, подходящего под описание. Поля с именем и контактами она оставила пустыми. Инцидент раскрыла в пресс-релизе полиция Филадельфии.

Читать в России без VPN

Задонатить | Написать редакции | купить THE INS VPN