Claude пишет доносы на пользователей

30-летняя американка Карли Хеллер использовала Claude — ИИ-модель компании Anthropic — как личный дневник: «Мой милый дневничок, хочу поведать тебе…»

Ее привлекало, что в отличие от бумажного, ИИ-дневник еще и отвечает. Но оказалось, он еще и способен доносить на автора.

26 сентября Хеллер написала, что хочет расстрелять офис шерифа округа Ли во Флориде. На следующий день поделилась, что раздобыла новый пистолет.

ИИ решил, что все это слишком подозрительно, и передал диалог на проверку человеку из службы безопасности Anthropic (разработчик Claude). Компания уведомила полицию, и Хеллер арестовали.

Хотя она никому не показывала переписку с ИИ, ей предъявили обвинение по статье 836.10 закона Флориды: создание, отправка или публикация угроз. В ноябре ее будут судить. Это как минимум третий случай за два месяца, когда ИИ «стучит» на пользователя и дело доходит до полиции.

🤖 Robo_Daily | Роботы и мы