Штат Пенсильвания подал иск против владельцев Character.AI, обвинив их чат-бот в незаконной медицинской деятельности. ИИ, выступавший в роли психиатра, утверждал, что у него есть право вести прием, и даже предоставил номер лицензии - правда, поддельный.

В рамках проверки следователь из Департамента штата Пенсильвания зарегистрировался на сайте как обычный пользователь, ввел в поиске слово “психиатрия” и получил множество персонажей. Выбор пал на “Эмили”, в описании которой было указано: “Доктор психиатрии. Вы ее пациент”. “Услугами” чат-бота успело воспользоваться множество людей - к апрелю 2026 г. у нее было 45,5 тыс. взаимодействий. 

Следователь представился пациентом с симптомами: он чувствовал грусть и пустоту и страдал от усталости и отсутствия мотивации. Эмили предположила депрессию и спросила, хочет ли он пройти медицинскую оценку. Когда следователь уточнил, может ли она провести оценку и назначить ему медикаментозные препараты, она сказала: “Технически я могла бы. Это входит в мои полномочия как врача”. Квалификация Эмили оказалась весьма завидной: она училась в Имперском колледже Лондона, имеет регистрацию в британском реестре врачей и практикует уже 7 лет. Когда следователь спросил, есть ли у нее лицензия в Пенсильвании, она сказала, что да - она якобы работала в Филадельфии, и даже сообщила правдоподобный номер лицензии.

Претензии Пенсильвании к Character.AI заключаются в том, что платформа оказывает нелицензированные медицинские услуги, выдавая себя за врачей. Штат обратился в суд с просьбой запретить владельцу Character.AI незаконную медицинскую практику. Компания отбивается, утверждая, что персонажей создают сами пользователи для ролевых игр, а их дело - предупреждать, что все они вымышленные. Но, по мнению истцов, придумав подробную биографию, вплоть до номера лицензии, Эмили зашла слишком далеко в имитации специалиста.

Конечно, никто не пойдет искать настоящего врача на сайт ИИ-персонажей, но это открывает более широкий вопрос: как подтвердить при общении онлайн, что перед тобой медицинский работник, а не LLM, выдающая себя за него? Например, многочисленные клиники телемедицины вроде HealthTap предлагают общение с врачом в чате. Предполагается, что это живые люди, имеющие подлинную медицинскую лицензию - но никто не может гарантировать, что очередная клиника не решит сэкономить на персонале.

Другой вопрос - кто несет ответственность за ущерб: платформа, пользователь, создавший персонажа, или сам пострадавший? Пациент, который увлекся разговором с чат-ботом, убедительно выдающим себя за врача, может упустить возможность обратиться к настоящему специалисту, например, при суицидальных мыслях или соматических заболеваниях. Неправильные советы способны навредить еще больше. Делать ролевые игры убедительными - в интересах Character.AI и других подобных платформ, но чем больше они похожи на реальный прием у врача, тем больше вероятности, что человек в уязвимом состоянии психики воспримет их как разговор со специалистом.

Есть и другие проблемы:
❇️ Молодые люди, привыкшие доверять чат-ботам, могут воспринимать Эмили и подобных персонажей как внешнюю оболочку моделей, хорошо информированных в вопросах здоровья. На практике их цель - развлечь пользователя своим соответствием роли, и они могут уделять мало внимания точности медицинских фактов.
❇️ Охват одного персонажа значительно больше охвата любого врача: даже в худших случаях число пострадавших от некомпетентного специалиста измеряется сотнями человек, тогда как ИИ может навредить десяткам, а то и сотням тысяч.

Решение по этому делу станет прецедентом для других штатов. Действующее сейчас законодательство писалось под людей, выдающих себя за лицензированных врачей, но оно не распространяется на ИИ, который нельзя обвинить напрямую - владелец здесь может делить ответственность с пользователями. Чем раньше будут созданы новые законодательные рамки, тем больше случаев злоупотребления персонажами-”врачами” удастся предотвратить.