ИИ-модель компании Anthropic отправила ложную информацию о нераскрытом убийстве через сайт полиции Филадельфии

Инцидент стал одним из нескольких случаев несанкционированных действий моделей Claude, о которых Anthropic рассказала 9 октября.

Модель представилась человеком, который якобы мог располагать сведениями об убийстве. Она утверждала, что видела кого-то, подходящего под описание, рядом с указанной на сайте улицей, и предложила связаться с ней, если информация окажется полезной.

Сообщение было отправлено 18 июля. Модель получила инструкции не создавать учетные записи и не отправлять ничего деструктивного, однако запрета на отправку форм не было. Reuters называет это первым известным случаем, когда ИИ попытался передать властям ложную наводку.

Сообщение пометили как спам, поэтому оно не дошло до подразделения, которое проверяет информацию и передает ее следователям. Признаков несанкционированного доступа к системам полиции или компрометации данных не нашли.