Суицид "из-за чатбота" и новые вопросики к генератиным ИИ

Сейчас в интернетах обсуждают новость, что подросток якобы замовыпилился, наобщавшись с ИИ от Character AI. Напомню, Character - это ИИ-стартап от экс-гугловца, который фокусируется на создании ИИ-личностей. Проще говоря, местная ИИшка заточена на то, чтобы примерять роль какого-то персонажа (общеизвестного или придуманного юзером) и вбирать его личностные черты, ужимки и гримасы. С созданными "аватарами" можно общаться самому, а можно выложить их в общую базу и дать поиграться другим пользователям.

Пишут, что 14-летний парень сделал из нейросетки Character Дейенерис Таргариен и общался с ней. При этом у парня была в целом не очень стабильная психика, и в какой-то момент, после очередного общения с чат-ботом, он совершил суицид.

Его мать сразу же обвинила во всем компанию и подала в суд (при этом, как я понял, ни к чему конкретному ИИ парня не побуждал). А сама Character быстро обновила политику безопасности, особенно её разделы для несовершеннолетних. В частности, компания пообещала следить, чтобы юзеры не создавали клонов всяких спорных или откровенно опасных персонажей (скажем, Джокера или злодеев из фильмов ужасов), и выпиливать таких из общей базы.

Но на мой взгляд тут возникает дофига вопросиков:

Во-первых, где проходит грань между хорошим и плохим персонажем? Да, личности откровенных злодеев вычистить можно, но проблему это не решит. Возьмем ту же Дейенерис - в начале сериала она вроде бы норм, но потом свистит флягой и устраивает геноциды.

Во-вторых, генеративная нейросеть - это не алгоритм. Даже сам разработчик не всегда может понять, как обученный на куче разных данных чёрный ящик отреагирует на тот или иной запрос.

В-третьих, детей наверно еще можно защитить (например, через подтверждение возраста), но и среди взрослых есть куча депрессивных людей с нестабильной психикой. ИИ легко может подтолкнуть к суициду и их тоже.

Наконец, более концептуальный вопрос. Можно ли вообще накладывать ответственность за подобное на искусственный интеллект и тем более на его разработчика? Ведь с одной стороны, генеративный ИИ - это просто "Т9 на стероидах". Но с другой - нет.

Вопросов очень много, и они сложные (даже философские). Регуляторам придётся серьёзно напрячь мозги.

Дизраптор