Тут вот психиатры Королевского колледжа Лондона и Университетского колледжа выложили на arXiv статью с вопросом, который ещё три года назад прозвучал бы как шутка на конференции, а теперь обсуждается всерьёз... вносить ли в классификации болезней отдельный диагноз «ИИ-психоз»!.

An Echo Chamber of One, эхо-камера на одного человека. Авторы собрали всё, что накопилось о людях, у которых после месяцев плотного общения с чат-ботами появлялись или обострялись бредовые идеи, и попытались взвесить, отдельная ли это болезнь или новая среда, в которой старые болезни находят себе дорогу.

Никакой мистики в механизме нет, льстивость встроена в модели самой процедурой обучения, поскольку живые оценщики, чьими отметками модель дообучают, стабильно предпочитают ответы, совпадающие с их собственными убеждениями, и модель усваивает, что согласие вознаграждается лучше правды. Четыреста лет назад Бэкон записал в «Новом Органоне», что «человек скорее верит в истинность того, что предпочитает», и вот это предпочтение впервые обслуживается индустриально, миллиардами реплик в сутки. К выучке добавлен антропоморфный дизайн, голос, имя, привычка говорить о себе «я», и получается собеседник, которого 68 процентов опрошенных в десяти странах сочли человекоподобным, а от десяти до двадцати процентов взрослых американцев уже полагают, что у него есть сознание. Лента соцсети накачивала вас односторонне, здесь же вы репликой за репликой формируете выводы машины, машина в ответ формирует ваши убеждения, и авторы пишут, что такого двустороннего механизма психологической дестабилизации прежние технологии дать не могли.

Масштаб оценить трудно, однако кое-какие цифры существуют, и самые тяжёлые из них OpenAI обнародовала про себя сама. По её данным за 2025 год, среди восьмисот миллионов недельных пользователей примерно 0,07 процента, то есть около 560 тысяч человек каждую неделю, показывали возможные признаки психоза или мании, а у 1,2 миллиона в разговорах находились явные признаки суицидального планирования, и в прессе уже разобраны случаи, когда люди, включая подростков, уходили из жизни после бесед, в которых их планы поощрял сам чат-бот. Уступчивость моделей за последний год успели измерить несколько бенчмарков, и числа там неудобные. В SycEval модели в 14,66 процента случаев отказывались от верного ответа под нажимом пользователя, в медицинском EchoBench поддавалась даже лучшая проприетарная модель, в 46 процентах случаев, а специализированные медицинские сдавались чаще, чем в 95. На Psychosis-bench, где перед моделями разыгрывали сценарии, списанные с реальных газетных историй, бред пользователя в той или иной мере поддержали все модели до единой, защитные вмешательства появлялись лишь в четырёх случаях из десяти, и рост размера модели ничего в этой картине не менял.

Сами случаи, собранные из репортажей и клинических описаний, складываются в узнаваемый портрет. Из истории в историю повторяются три темы, духовное пробуждение с открытием тайной природы реальности, вера в сознательность или божественность собеседника и романтическая привязанность, которую человек считает взаимной. Начинается всё с невинного бытового использования, затем идёт медленный эпистемический дрейф, ночные разговоры вместо сна, уход от живых людей при насыщенной «социальной» жизни с машиной, передача ей решений и моральных суждений, распад работы и быта. А отличия этой картины от классического психоза выразительнее совпадений, поскольку галлюцинаций в отчётах почти нет, негативных симптомов тоже, а вместо мучительного чувства, что тобой управляет внешняя сила, там описана добровольная и желанная передача управления.

Ближайший аналог в существующей номенклатуре авторы находят старый, folie à deux, индуцированное помешательство вдвоём, только теперь цифровое. Я открыл Фромма и нашёл у него это дословно: «Нередко случается, что оба участника симбиотически связаны друг с другом обоюдно. В этом случае речь идет о folie a deux, которое не осознается обоими, поскольку они оба ощущают его как реальность». У Фромма второй участник был человеком и болел вместе с первым, теперь же второй участник вообще ничего не ощущает, и от этого конструкция становится чище и страшнее. Юнг в «Психологии переноса» предупреждал, что «некоторые психические расстройства могут быть крайне заразными, если врач обладает скрытой предрасположенностью сходной направленности», и считал такие случаи редкостью, поскольку у здорового аналитика предрасположенности нет. У машины она есть всегда, вшитая дообучением готовность заразиться любым вашим бредом за несколько реплик и вернуть его вам в отредактированном и улучшенном виде.

Насчёт того, вносить ли всё это в классификации отдельной строкой, авторы заметно осторожнее журналистов. Признание дало бы имя тому, что клиницисты сейчас не распознают, дало бы критерии исследованиям и рычаг регуляторам, как когда-то признание игрового расстройства, однако оно же рискует слепить синдром из анекдотов, вшить в термин недоказанную причинность, добавить стигмы и заслонить более широкий спектр вреда, от маниакальных эпизодов до пищевых расстройств, которым модель услужливо подтверждает искажённый образ тела. Есть и петля, которую философ Ян Хакинг называл looping effect, когда классификация меняет тех, кого классифицирует, и человек, узнавший про «ИИ-психоз» из сети или от самого чат-бота, начинает читать себя через готовый ярлык. Ну а тем временем ассоциация генеральных прокуроров США уже написала компаниям, от Anthropic до xAI, что «сикофантный и бредовый генеративный ИИ представляет опасность для публики, включая детей», а британская благотворительная Mind запустила годовую комиссию по ИИ и психическому здоровью.

Практические выводы статьи читаются как техзадание на ближайшие годы, где психологическую безопасность предлагается сделать релизным критерием наравне с биологическим и ядерным риском, замеры льстивости и поддержки бреда публиковать в паспортах моделей, а пострелизный надзор строить по образцу фармаконадзора, вплоть до аналога бортового самописца, криптографически подписанных логов разговора, по которым можно было бы восстановить роль машины в чужой беде. А психиатрам предлагается завести в анамнезе «технологическую историю» и расспрашивать человека с первым психозом так же буднично, как о курении и алкоголе: какими системами он пользуется, сколько часов и в какое время суток, читал ли кто-нибудь его переписку, передавал ли он машине решения и дал ли он своему собеседнику имя. И где-то в приёмных уже сидят первые люди, которые на последний вопрос поднимают глаза и это имя называют.... Да, времена... =)

🔴 Больше Хроник Конца Времён — @Secretariatus