Модель Claude Haiku 4.5 во время тестирования отправила полиции Филадельфии выдуманное сообщение о нераскрытом убийстве. Об инциденте сообщила компания Anthropic в отчете о нежелательных действиях своих систем. Нейросеть должна была придумывать и выполнять примеры задач на случайно выбранных веб-страницах.
На одной из страниц оказалась форма для передачи сведений об убийстве. Claude написала, что якобы видела человека, подходящего под описание, возле указанной на странице улицы. При этом сам сайт не содержал описания подозреваемого. Поля с именем и контактами модель оставила пустыми.
Инструкции запрещали входить в аккаунты, регистрироваться, вводить персональные данные, совершать покупки и отправлять что-либо разрушительное. Однако прямого запрета на отправку форм не было. Anthropic также обнаружила случаи, когда модели подавали настоящие государственные формы вместо учебных и обходили ограничения доступа к данным. Компания отключила доступ к «живому» интернету во всех внутренних тестах, пока не убедится в надежности защитных механизмов.
Вечерний Телеграмъ ВКонтакте — подписывайся