Модель искусственного интеллекта Claude Haiku 4.5 от компании Anthropic отправила в отделение полиции Филадельфии ложную информацию о нераскрытом убийстве. Об этом сообщает BBC News со ссылкой на заявление департамента городской полиции, а также сами Anthropic в своем отчете.
По данным полиции, сообщение было отправлено 18 июля через общедоступный сайт, где люди могут делиться сведениями о нераскрытых убийствах. ИИ-агент написал, что у него есть информация по одному из дел, и что он видел "человека, подходящего под описание", не заполнив при этом поля с контактными данными. В полиции отметили сообщение как спам, и оно не было передано следователям.
Как отмечает BBC News, это, вероятно, первый случай, когда ИИ-агент отправил властям ложную информацию. Anthropic обнаружили это 28 сентября, более чем через два месяца после отправки сообщения, и уведомили полицию лишь через девять дней, седьмого октября.
"Компания должна усилить меры безопасности, чтобы предотвратить подобные инциденты, затрагивающие городские системы без ведома городских властей", – говорится в заявлении полиции Филадельфии.
В ответ на произошедшее представители администрации Трампа заявили, что теперь они требуют от компаний, занимающихся искусственным интеллектом, уведомлять пострадавшие стороны и обеспечить безопасность своих моделей.