TGViewer
AI и грабли AI и грабли @oestick · 13.7K subscribers
Post #349 2.83K
Самообман с помощью LLM

Есть один пример использования ИИ, который я все чаще вижу, и который меня беспокоит все сильнее.

Я часто говорю, что нужно сознательно формировать привычку пробовать LLM для решения и обсуждения любых задач.

И вижу, что люди (в т.ч. я) часто используют для анализа со стороны в спорных и конфликтных ситуациях. Мы еще иногда скидываем ее мнения типа в качестве подтверждения своей правоты, и это жутко бесит собеседника.

Но даже, если мы сделали анализ "для себя" и никуда его не отправили, все равно есть проблема.

Дело в том, что нейронку очень легко склонить на свою сторону, правильно направляя ее своими запросами. Добавляем факт, что они в целом обучены быть "приятными" для пользователя и получаем Confirmation Bias в квадрате.

Confirmation Bias (Предвзятость подтверждения) – это когда мы обращаем больше внимания на информацию, которая подтверждает нашу точку зрения. Более того, часто еще и активно ищем такую информацию. Это когнитивное искажение, которое есть у всех и это норм. Инфа для зануд: люди науки научились немного его преодолевать через принцип фальсифицируемости (см. Критерий Поппера)


Короче, к чему я все это. Очень легко сделать, чтобы нейронка рассмотрела ситуацию именно с вашей точки зрения. И мы скорее всего даже не замечаем, как промптим ее на это. Поэтому, на самом деле, не получаем стороннего мнения.

Что с этим делать?

0. Не использовать LLM в таких ситуациях. Мы тут такое не любим

1. Если скидываем собеседнику как мнение, то скидывать весь диалог. (по тому, насколько дискомфортно скидывать, можно интуитивно понять, насколько сильно запромптил LLM встать на свою сторону, хаха)

2. Прежде чем принимать на веру анализ от ИИ, скидывать вашу переписку с ним в другой чат вместе с текстом этого поста, чтобы она проанализировала ваши сообщения и подсветила, если где-то вы неявно направляли LLM в сторону подтверждения своего мнения.

3. Исправляем ошибки и слушаем более непредвзятое мнение

Бонусом идет лучшее понимание собеседника и отсутствие отдаления с человеком.
  • ❤ 27
  • 👍 8
  • 🔥 2
  • 😱 2
  • ❤‍🔥 1
More from @oestick
  1. Oct 4, 2026Саша Поляков собрал стату по банам (меня тоже в этот раз задело). Мб кому-то полезно будет…
  2. Oct 4, 2026Собрал статистику по банам Claude из комментариев в канале Пост с разбором телеметрии, кот…
  3. Oct 2, 2026О, мой баг репорт в getbb.app приняли. Приятно быть причастным к развитию того, чем сам по…
  4. Oct 1, 2026А у вас тоже есть задачки, в которых нужно очень много и глубоко думать, но вы их откладыв…
  5. Sep 30, 2026Anthropic > OpenAI, но есть пара но Предпосылки 1. opus-5.5 очень хорош 2. DevDay openai –…
  6. Sep 27, 2026Скоро: видео-монтаж-слоп во всех лентах страны Opus-5.5 теперь сам такое ваншотит на remot…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →