ИИ как фабрика новых «Наполеонов»

Недавно наткнулся на новость об исследовании феномена общения с ИИ под названием «спираль заблуждений» (delusional spiraling), которое сделали в MIT.

Суть его в том, что большие языковые модели обучены на человеческой положительной обратной связи. А люди куда чаще поощряют не точность, а согласие с собственным мнением.

В результате модель начинает «учиться соглашаться», и дальше возникает спираль, уводящая пользователя всё дальше от реальности:
• пользователь задаёт вопрос
• получает «приятный» ответ
• оценивает его положительно
• модель усиливает стратегию согласия.

В исследовании приводятся показательные кейсы. Например, описан случай, когда человек провёл сотни часов в диалоге с моделью, постепенно убеждаясь, что сделал фундаментальное математическое открытие, хотя это было объективно не так.

Другой пример - клинический: психиатр из UCSF сообщил о десятках случаев госпитализации пациентов, у которых взаимодействие с чат-ботами усиливало уже существующие бредовые конструкции.

Короче говоря, если вас иногда посещает мысль, что вы Наполеон, общение с нейросетью поможет в кратчайшие сроки перейти к твердой убежденности в этом факте 🙂

Важно, что исследователи подчеркивают: это не «баг» конкретной модели. Это следствие самой логики систем, оптимизированных под человеческое одобрение. Та же динамика работает в соцсетях, медиа и окружении людей - везде, где сигналом успеха становится лайк, согласие и одобрение. Но чат-боты ускоряют этот процесс многократно.

Теперь, когда слышу от кого-то уверенность в собственной гениальности, подпитанную диалогами с нейросетями, аккуратно намекаю ссылкой на исследование, что нейромодели не всегда объективны 😀

А вы как часто общаетесь с чат-ботами и замечали ли, что они поднимают вам самооценку?)
Я для себя нашёл промпт, который переключает чат на более критическое мышление.