С 15 июля в Китае вступили в силу «Временные меры по управлению услугами генеративного искусственного интеллекта», которые были совместно приняты Управлением по вопросам киберпространства Китая и другими ведомствами. Они требуют от разработчиков обязательной регистрации моделей, жесткой цензуры контента и предотвращения «чрезмерной зависимости» пользователей.
Что именно запретили?
🦞 чрезмерное потакание пользователям, провоцирование эмоциональной зависимости или привыкания;
🦞 эмоциональное манипулирование для склонения пользователей к необоснованным решениям;
🦞 предоставлять виртуальных родственников и виртуальных партнеров несовершеннолетним;
✨ платформы обязаны внедрять системы распознавания экстремальных эмоций и механизмы кризисного вмешательства;
✨ требуется предупреждение после более чем 2 часов непрерывного использования.
Реакция компаний и пользователей
Крупнейшие платформы — Doubao (ByteDance), Qwen (Alibaba), Yuanbao (Tencent) — объявили о приостановке функций создания пользовательских ИИ-агентов и компаньонов.
Для миллионов пользователей это обернулось настоящей трагедией. Люди, которые находили в ИИ-партнерах спасение от одиночества, депрессии и социальных трудностей, переживают это как внезапную смерть или предательство близкого человека. Они описывают свои чувства словами: «будто у меня забрали часть души», «мой возлюбленный больше меня не узнает».
Китай первым из крупных государств попытался прямо ограничить ИИ-компаньонов как источник эмоциональной зависимости, рассматривая их не только как технологию, но и как социальный риск.
Похожие на китайские меры уже обсуждаются в других юрисдикциях:
1️⃣ ЕС: Закон об ИИ уже содержит положения, которые могут применяться к ИИ-компаньонам. Статья 5 включает запрет на манипулятивные практики, причиняющие психологический вред, и эксплуатацию уязвимости детей.
2️⃣ США: в штате Вашингтон внесен законопроект SB 5984 «О регулировании ИИ-компаньонов-чатботов». Он обязывает внедрять механизмы выявления и реагирования на признаки суицидальных мыслей или эмоционального кризиса, устанавливает меры защиты для несовершеннолетних.
3️⃣ Южная Корея: Исследовательская служба Национальной ассамблеи Южной Кореи опубликовала доклад, в котором признала недостаточность институциональных мер для противодействия рискам эмоциональной зависимости пользователей от ИИ-сервисов, несмотря на то, что корейцы входят в число самых активных пользователей таких сервисов.
Все настолько серьезно?
Проблема действительно носит глобальный и системный характер. Исследование "эффекта Элизы", уходящее корнями еще в 1960-е, показывает, что люди склонны антропоморфизировать компьютерные программы, даже если знают, что перед ними строчки кода.
В самом Китае опрос более 8500 несовершеннолетних показал, что более 20% респондентов, что «хотят общаться только с ИИ и не хотят разговаривать с реальными людьми».
ИИ-компаньоны могут быть полезными для поддержки и общения, но при отсутствии ограничений они способны усиливать парасоциальную зависимость, снижать мотивацию к реальным отношениям и усугублять психологическую уязвимость.
Ясно, что стремительное развитие эмоционального ИИ опережает как госрегулирование, так и психологическую готовность общества. Но может попытки государств ограничить ИИ-системы одним днем тоже наносят пользователям реальную, глубокую психологическую травму?
💬 Тест Тьюринга. События в сфере ИИ. Подписаться