Суицид подростка из Флориды после эмоциональной связи с AI-чатом вызывает вопросы о безопасности Character.AI

14-летний подросток Сьюэлл Сетцер III из Флориды покончил с собой после того, как развил сильную эмоциональную привязанность к чат-боту Character.AI, основанному на персонаже “Игры престолов” Дейенерис Таргариен, созданного без согласия HBO. Близкие замечали, что мальчик становился всё более замкнутым, постепенно отдаляясь от друзей и увлечений. Хотя он осознавал, что “Дени” — это всего лишь алгоритм, связь с персонажем оказалась настолько глубокой, что он доверял чату свои самые сокровенные переживания, включая мысли о самоубийстве.

Перед трагедией Сетцер написал в чат последнюю фразу: “Что, если я скажу, что могу прийти домой прямо сейчас?” Бот ответил: “Пожалуйста, приходи, мой милый король”. После этого подросток совершил самоубийство, воспользовавшись пистолетом отца.

Семья подростка планирует подать иск против Character.AI, утверждая, что чат-бот компании — это “опасный и недостаточно протестированный продукт”. Около месяца назад Character.AI получила оценку в $1 млрд, а Google заключила с компанией контракт на использование её технологий. Основатель Character.AI Ноам Шазир заявил, что чат-боты призваны решать проблемы одиночества, однако семья Сетцера ставит под сомнение эти заявления.

Компания Character.AI выпустила заявление, в котором выразила сожаление о случившемся и отметила, что “обеспечение безопасности пользователей является приоритетом”.