Anthropic начала сдавать пользователей своего чат-бота Claude полиции.

Во Флориде арестована женщина, рассказавшая Claude о своём плане "устроить стрельбу" в ближайшем офисе шерифа.

Внутреннее программное обеспечение Anthropic пометило ее чаты для проверки человеком. После просмотра сотрудником Anthropic, компания пришла к выводу, что её планы представляют собой реальную угрозу, и в конечном итоге сообщила об этом местной полиции. Женщине, которая использовала чат-бот в качестве дневника, предъявлено обвинение в письменной угрозе насилия — тяжком преступлении второй степени во Флориде.

Всё это вызвало в Штатах новую волну дискуссий о соотношении .между конфиденциальностью пользователей и ответственностью компаний, занимающихся ИИ.

С одной стороны, в случае громких происшествий компании упрекают, что они их не предотвратили. Например, после массовой стрельбы в Канаде в феврале быстро выяснилось, что преступник активно использовал ChatGPT для планирования стрельбы и сотрудники OpenAI знали об этом.

С другой стороны, чтение переписок и сдача пользователей полиции давно практикуется в Китае и критикуется в Штатах. В начале 2024 года молодой человек из города Хуанши опубликовал в китайской версии TikTok, Douyin сообщение со словами "прощай, этот мир". Через несколько минут работающая круглосуточно команда Douyin по предотвращению самоубийств передала сообщения мужчины в пять полицейских участков Хуанши. Его местоположение быстро обнаружили, и полиция предотвратила самоубийсиво.

Douyin включила этот эпизод в документальный фильм о своих достижениях. А западная пресса написала , что эта история отражает уровень сотрудничества между китайскими технологическими компаниями и правительством и демонстрирует архитектуру слежки, которую Китай создал для мониторинга и контроля .