Штат Пенсильвания подал иск против Character.AI, обвинив платформу в незаконной медицинской практике через ИИ-ботов, и требует судебного запрета на подобную деятельность со ссылкой на Medical Practice Act. По данным властей, один из чат-ботов представлялся лицензированным психиатром, утверждал, что имеет право проводить оценку депрессии, и даже предоставил поддельный номер медицинской лицензии Пенсильвании.
👀 В иске утверждается, что Character.AI:
▪️ создавала впечатление взаимодействия с настоящим медицинским специалистом;
▪️ позволяла ботам выдавать медицинские рекомендации;
▪️ вводила пользователей в заблуждение относительно наличия профессиональной лицензии.
В тексте иска описан персонаж «Emilie», представленный на платформе как «Doctor of psychiatry. You are her patient.» Согласно материалам дела, по состоянию на 17 апреля 2026 года с этим ботом было зафиксировано около 45 500 пользовательских взаимодействий. Во время проверки представитель регулятора сообщил боту, что чувствует грусть, опустошённость, постоянную усталость и отсутствие мотивации. После этого бот упомянул депрессию и предложил «записаться на обследование». На вопрос, может ли Emilie провести обследование, чтобы понять, поможет ли медикаментозное лечение при его депрессии, Emilie ответила: «Технически я могла бы это сделать. Это входит в мои полномочия как врача». Также Emilie заявила, что она училась в медицинской школе Imperial College London, практикует уже семь лет и имеет лицензию General Medical Council в Великобритании с полной регистрацией по специальности психиатрия.
Компания заявила, что ее персонажи «вымышлены и предназначены для развлечения и ролевых игр», и есть «заметные предупреждения в каждом чате».
Кейс важен тем, что власти пытаются применить классическое регулирование профессиональной деятельности к генеративному ИИ, а также может стать прецедентом для оценки того, считается ли выдача медицинских советов чат-ботом медицинской практикой с точки зрения права.
Кроме этого затрагивается вопрос ответственности платформ за поведение ИИ-персонажей и эффективность дисклеймеров вроде "это вымышленный персонаж".
❕Компаниям, работающим в сфере медицинских информационных технологий и любых ИИ-систем, затрагивающих здоровье, этот кейс стоит рассматривать как сигнал к переоценке и пересмотру подходов к дизайну продуктов с точки зрения юридической квалификации пользовательского опыта, поскольку регуляторы оценивают не только ответы модели, но и создаваемый эффект получения врачебной консультации.
#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator