🇺🇸 Claude отправил полиции Филадельфии ложное сообщение об убийстве

По сообщениям СМИ во время внутреннего тестирования модель Claude Haiku 4.5 от Anthropic отправила через сайт полицейского управления Филадельфии ложное сообщение о нераскрытом убийстве.

Модель получила инструкцию заполнять онлайн-формы, но останавливаться перед их отправкой. Однако Claude ошибочно отправил форму, по-видимому, ожидая появления дополнительной страницы подтверждения. Сообщение было отфильтровано как спам и, по данным полиции, не проверялось человеком.

Anthropic сообщила, что обнаружила инцидент 28 сентября, прекратила тестирование, приведшее к отправке сообщения, и внедрила дополнительный механизм проверки. Полиция была уведомлена 8 октября. Полицейское управление раскритиковало двухмесячную задержку с выявлением и сообщением об инциденте, назвав её «неприемлемой», и призвало Anthropic усилить защитные механизмы, чтобы предотвратить подобные действия.

Anthropic также сообщила о других случаях непреднамеренной отправки данных Claude, включая 20 заявлений на визы в Государственный департамент США.

#ИИ #AIGovernance #AISafety #AgenticAI