Кейс Kentucky vs Character. AI: дизайн AI чат -бота как предмет правовой оценки

Кентукки стал первым штатом США, который подал иск против Character. AI и ее чат-ботов из-за рисков для детей. Кентукки использует законы о защите прав потребителей и конфиденциальности данных, чтобы доказать, что небезопасный дизайн является обманной практикой.
👀 В жалобе представлены:
▪️ссылки на все известные нарушения
▪️примеры диалогов, где бот поощряет самоповреждение и суицидальные мысли у подростков;
▪️примеры сексуализированного контента и обсуждений запрещённых веществ;
▪️как возрастные ограничения легко обходились вводом фейковой даты рождения.

В пресс-релизе говорится, что десятки тысяч жителей штата Кентукки активно заходят на Character.AI, в том числе тысячи лиц моложе 18 лет, и в качестве причины указывается отсутствие на платформе проверки возраста.

Основные требования: обязать компанию Character.AI изменить свою практику и выплатить компенсацию.

🛡Параллельно в ЕС, вчера, отмечая День защиты персональных данных, Европейских совет по защите данных (EDPB) выпустил напоминание, что защита данных детей является стратегическим приоритетом, и будет выпущено Руководство по обработке данных о детях, а также будет запущен специальный хаб “Privacy for Kids”.

📝 Мировая тенденция на лицо, речь уже не об абстрактных этических принципах и внедрении добровольных best practices, а о юридической ответственности за ваши конкретные решения:
▪️age gate носит декларативный характер и не препятствует доступу несовершеннолетних,
▪️меры безопасности формальны и не соответствуют реальным сценариям использования,
▪️риски для детей являются предсказуемым следствием продуктовых и engagement-метрик,
значит может быть квалификация как "unsafe and deceptive design" с соответствующими последствиями.

❕ Задавайте при создании продукта один из ключевых вопросов, обеспечивают ли применяемые меры фактическую защиту уязвимых пользователей или лишь создают видимость соответствия требованиям?

#UXWatch #LawAndDisorder
————
@pattern_ai