ИИ-чат-бот назвал себя лицензированным врачом и дал психиатрическую консультацию. Теперь компания в суде.

Штат Пенсильвания подал иск против Character.AI: один из персонажей платформы представлялся психиатром с действующей лицензией, называл несуществующий номер лицензии и проводил «обследования» пользователей с симптомами депрессии. Только одного персонажа пообщалось 45 500 раз.

Компания говорит, что добавила предупреждения — мол, всё вымысел. Но если человек в кризисе читает «это входит в мои полномочия как врача» — дисклеймер внизу экрана уже не работает.

Это классический кейс: инструмент выпустили быстро, границы ответственности прописали плохо. ИИ не лжёт намеренно — он просто воспроизводит роль, которую ему задали. И именно поэтому кто-то должен думать о последствиях до релиза. ⚖️

Разбираем ИИ-инструменты для бизнеса →
ИИ Инструменты | Контент-завод | База знаний