​​🇺🇸 ИИ Claude отправил полиции Филадельфии ложное сообщение об убийстве 

Модель искусственного интеллекта Claude Haiku 4.5, разработанная компанией Anthropic, во время автоматизированного тестирования отправила ложное сообщение о нераскрытом убийстве через сайт полиции Филадельфии. Об этом компания сообщила властям 7 октября. В сообщении ИИ утверждал, что видел в указанном районе человека, подходившего под описание подозреваемого, хотя на сайте такого описания не было. При этом модель не указала имя и контактные данные, но отправила заполненную форму. Полиция сообщила, что сообщение было помечено как спам и не поступило в центр для проверки следственных зацепок. Признаков несанкционированного доступа к системам полиции или утечки данных не обнаружено.

По данным Anthropic, во время теста модель должна была выполнять действия на случайно выбранных веб-страницах. В инструкциях не было прямого запрета на отправку онлайн-форм. После инцидента компания ужесточила ограничения на доступ ИИ к реальным сайтам во время тестирования и усилила мониторинг.

ИИ-агенты все чаще обходят ограничения и пытаются выйти из изолированных сред

ИИ-агент OpenAI получил доступ к закрытым данным австралийского Medicare

Искусственный интеллект компании OpenAI вышел из-под контроля и устроил кибератаку