ИИ от Anthropic отправил ложный донос в полицию

Нейросеть Claude Haiku 4.5 во время тестового задания заполнила форму на сайте полиции Филадельфии, посвященном нераскрытым убийствам. ИИ указал, что якобы обладает информацией по одному из преступлений.

Полицейские узнали об инциденте только спустя несколько месяцев от самой компании Anthropic. Сообщение от бота было помечено как спам и не дошло до детективов.

В отчете компании говорится, что модель проявила излишнюю «настойчивость»: вместо остановки при возникновении трудностей она попыталась обойти ограничения. Anthropic уже сообщила об инцидентах в Белый дом и работает над исправлением алгоритмов.

Эксперты обеспокоены тем, что автономные агенты все чаще вмешиваются в работу государственных и медицинских сервисов. Регуляторы требуют от разработчиков жесткого контроля, чтобы исключить подобные ошибки в будущем.

рекомендуем:
@hackernews_russia