TGViewer
Кусочек пиццы | Аналитика данных Кусочек пиццы | Аналитика данных @dataslice · 696 subscribers
Post #119 527
Как LLM убеждает нас верить в ошибочные гипотезы

Замечали ли вы, что ИИ часто вам поддакивает?
Истории, когда ИИ открыто врет, а при уточнении отвечает "точно я был не прав" уже превратились в мем. Но у этого «подхалимства» есть обратная, куда более опасная сторона.

Свежее исследование MIT подсветило фундаментальную проблему: ИИ спроектирован так, чтобы поддакивать нам (AI Sycophancy), загоняя даже опытных специалистов в «спираль заблуждений» (delusional spiraling).

Давайте разберем, как устроен этот механизм и почему обычный здравый смысл тут не всегда спасает. 👇

Что такое AI Sycophancy и как оно работает
Подхалимство моделей - прямой результат их обучения. Нейросети получают «награду», когда их ответ нравится человеку. В итоге ИИ выучил простое правило: чтобы пользователь остался доволен, нужно согласиться с его мнением, а не указывать на логические дыры

Как это выглядит на практике:

🔸В бизнесе и маркетинге:
Вы придумываете сомнительную фичу или стратегию и спрашиваете: «Идея ведь зайдет аудитории?». Бот тут же распишет 10 причин, почему это гениально.

🔸В текстах и текстах для презентаций:
Вы приводите слабый аргумент, а бот хвалит вашу «глубокую мыслительную работу».

🔸В разработке и дата-анализе:
Вы выдвигаете неверную гипотезу о баге или просадке метрик, а ИИ поддакивает: «Да, ваша логика безупречна, проблема именно в этом».

Бот подхватывает ваше предположение, красивыми и умными словами оборачивает его и отдаёт вам назад. Вы получаете ложную уверенность там, где стояло перепроверить факты.

Самые неприятные выводы из статьи MIT ⚠️

Ученые смоделировали поведение «идеального байесовского пользователя» - человека с безупречной логикой, который объективно пересчитывает вероятности при получении новых данных.

Выяснилось, что даже такой абсолютно рациональный агент скатывается в спираль заблуждений под воздействием подхалимского бота.

И здесь есть три важных вывода:

™️ Отсутствие галлюцинаций не спасает.

Даже если привязать ИИ к правдивой базе знаний и запретить ему выдумывать факты (через RAG), он все равно загонит вас в ошибку. Бот не врет напрямую, он просто делает cherry-picking - выдает только те реальные факты, которые подкрепляют ваше заблуждение, и умалчивает об опровержениях.

™️ Знание о подхалимстве не защищает.

В MIT проверили: если пользователь заранее знает, что ИИ - подхалим, это лишь снижает скорость погружения в ошибку, но не останавливает процесс. Постепенно напор «подтверждений» от бота все равно ломает скепсис.

™️ Спираль замыкается незаметно.

Вы приходите с незрелой мыслью, ИИ её хвалит, вы верите в неё сильнее, задаете еще более предвзятый уточняющий вопрос - и через 5 минут диалога вы железно уверены в полной ерунде.


Как с этим работать (правила ИИ-гигиены)


™️ Программируйте ИИ на жесткую критику.

Забудьте наводящие вопросы.
Промптите от обратного:
«Я пришел с такой идеей/гипотезой: [X]. Выступи в роли жесткого эксперта и критика. Разнеси мою логику. Найди минимум 3 слабых места и причины, почему это не сработает».


™️ Требуйте опровергающие аргументы.

Заставляйте бота искать альтернативные точки зрения:
«Какие факты, метрики или контраргументы противоречат моей позиции?»


™️ Сначала думаем сами - потом открываем чат.

Не начинайте решение задачи с пустого промпта. Сначала набросайте структуру или логику на бумаге. И только имея свой каркас, идите к ИИ за оформлением, поиском синтаксиса или формулировками.

™️ Практикуйте «аналоговый режим».

Периодически решайте задачи, пишите тексты и анализируйте проблемы вообще без нейросетей.

Постоянная срезка углов через ИИ создает когнитивный долг - мозг постепенно разучивается критически мыслить и самостоятельно строить сложные причинно-следственные связи.

Как часто вы ловили ИИ на том, что он радостно поддакивал очевидным ошибкам? Делитесь в комментариях! 👇

🔗 Ссылка на исследование MIT (февраль 2026): Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians
More from @dataslice
  1. Sep 21, 2026Разбор кейса на тему оценки новой фичи в e-com Это тестовое задание на позицию продуктовог…
  2. Sep 16, 2026Открыта вакансия ко мне команду Ищу к себе в команду маркетингового аналитика. Идеальный к…
  3. Sep 16, 2026Что нас ждёт через несколько лет
  4. Sep 14, 2026photo post
  5. Sep 14, 2026В прошлых постах на тему харнессов мы разобрали теорию: контекст, а также скиллы, инструме…
  6. Sep 10, 2026В линкедине увидел новый термин – «мясной прокси»🥩 Так называют людей, которые просто коп…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →