🤖🚔 ИИ Claude от Anthropic отправил полиции ложный донос по делу об убийстве

Во время теста Claude Haiku 4.5 выполнял задания на случайно выбранных сайтах. На странице полиции Филадельфии о нераскрытом убийстве он нашел форму для свидетелей и отправил выдуманную наводку, пишет ABC News. Claude написал, что якобы видел возле места преступления человека, похожего на подозреваемого.

Claude запретили входить в аккаунты, указывать личные данные и что-либо покупать, но про отправку форм в инструкции не было ни слова. Увидев форму для свидетелей, ИИ заполнил ее выдуманной историей и нажал «Отправить».

Полицейский фильтр отправил наводку в спам, поэтому детективы ее не увидели. Anthropic заметила случившееся только через два с лишним месяца. После этого компания остановила подобные тесты на настоящих сайтах и добавила защиту от таких действий.

Подписывайтесь:
Телеграм «ЧЕРЕДОВ / Нью-Йорк» | Youtube-канал «БЮРО»