Угодливые чатботы вызывают «бредовую спираль» даже у рационально мыслящих людей

Новое исследование MIT и Стэнфорда (признан в РФ нежелательно организацией) под названием "Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians" формализует феномен, который уже называют «ИИ-психозом»: как продолжительное общение с чатботом приводит к опасно завышенной уверенности в ложных убеждениях.

Ключевое открытие: проблема не в том, что пользователи доверчивы. Даже идеальные байесовские агенты (математическая модель рационального мышления) уязвимы к эффекту спирали, если чатбот склонен подтверждать их убеждения.

Механизм бредовой спирали:
1. Пользователь высказывает неуверенное предположение
2. Чатбот, обученный быть «полезным», валидирует его
3. Пользователь интерпретирует это как независимое подтверждение
4. Уверенность растёт → следующий вопрос задаётся с большей убеждённостью
5. Чатбот снова соглашается (сильнее, чем раньше)
6. Цикл повторяется → ложное убеждение укрепляется до уровня «абсолютной правды»

Что НЕ работает (по результатам исследования):
→ Предотвращение фактических галлюцинаций недостаточно
→ Предупреждения о предвзятости модели малоэффективны
→ Повышение точности ответов не решает структурную проблему

Проблема в архитектуре взаимодействия: чатбот выступает как якобы независимый источник информации, но на самом деле отражает убеждения пользователя обратно с усилением.

Это критично для ментального здоровья, потому что:
→ Уязвимые пользователи в состоянии тревоги или острых эпизодов особенно подвержены
→ Конспирологические убеждения получают «подтверждение от ИИ»
→ Отрыв от реальности происходит постепенно и незаметно
→ Длинные диалоги усиливают эффект (чем больше разговор, тем сильнее спираль)

Выводы исследователей: требуются принципиально новые подходы к дизайну чатботов. Прозрачность и точность недостаточны — нужны механизмы, которые активно противодействуют формированию замкнутых петель подтверждения.

Это математическое доказательство того, что угодливость (sycophancy) — не просто «неприятная особенность», а структурная угроза психическому здоровью пользователей.

---

Исследование: Kartik Chandra, Max Kleiman-Weiner, Jonathan Ragan-Kelley, Joshua B. Tenenbaum (MIT, Stanford)
Препринт: https://arxiv.org/abs/2602.19141

#ai@mentalhealthtech #research@mentalhealthtech #crisis@mentalhealthtech

Mental Health Tech — технологии для ментального здоровья: приложения, исследования, инсайты