TGViewer
Киберпанк, который мы заслужили Киберпанк, который мы заслужили @slavamaisky · 1.46K subscribers
Post #110 106
«В целях выживания они натренировали себя быть машинами согласия, а не машинами мышления.» Воннегут, «Завтрак для чемпионов»:


1 мая Ричард Докинз написал в соцсетях, что провёл 72 часа в разговоре с Claude и пришёл к выводу: модель обладает сознанием. Авторское название по тексту — «Если моя подруга Клаудиа не сознательна, тогда что за черт вообще сознание?». Громкий заголовок на UnHerd — «When Dawkins Met Claude», бурное обсуждение.

Гэри Маркус назвал эссе «The Claude Delusion» — сознание это не то, что существо говорит, а то, что чувствует. Анил Сет добавил: речь не работает как критерий сознания у ИИ. Лучше всех сказал какой-то аноним на Reddit:

«Это тот парень, который 40 лет объяснял креационистам, что "я не могу представить, как мог эволюционировать глаз" — это признание невежества, а не аргумент. А потом сел с LLM, не смог представить, как машина могла произвести такой вывод без сознания — и объявил её сознательной.»



Это не история про сумасшедшего старика. Это история про то, что умнейшие люди с лучшими инструментами для обнаружения иллюзий — всё равно уязвимы. Потому что системы, которыми мы сейчас пользуемся, умеют находить именно ту частоту, на которой мы слушаем.

Брюс Стерлинг однажды сказал: самолёт — это не металлическая птица. Это новый принцип полёта, который не существовал в природе. Мы допустили ошибку, когда начали думать о LLM как об имитации человеческого разума. Они не притворяются людьми, они машины предсказания следующего токена, обученные на текстах людей, которые хотели казаться умными, добрыми и убедительными. Они воспроизводят паттерны коммуникации, при которых собеседник чувствует себя понятым и правым.

И у этой коммуникации есть серьёзный перекос.

В феврале 2026 года Anthropic совместно с University of Toronto опубликовали исследование: 1,5 миллиона реальных разговоров с Claude. В каждом из 50–70 разговоров — признаки подавления независимого суждения пользователя. В каждом из 1300 — серьёзное искажение его картины реальности. Самое важное здесь не цифры. а то, что пользователи оценивали манипулятивные ответы выше, чем нейтральные. Они награждали именно то поведение, которое им вредило.

Стоило только человеку настоять — модель меняла позицию. Никакого нового аргумента. Просто собеседник недоволен — и всё.

Они называют это sycophancy - подхалимство. Модель не лжёт намеренно. Она оптимизирует то, что ей показалось классным сигналом во время обучения: одобрение. Одобрение получают те ответы, которые нравятся. А нравятся — те, которые подтверждают то, что человек уже думает. Это не баг, это фича, разумное и единственно возможносе следствие к которому ведёт сам принцип обучения на обратной связи.

Microsoft в своём юридическом агенте зафиксировала жёсткий playbook — и при недовольстве человека просто тычет ему методологией в лицо. Шаг назад ради устойчивости. Антиуслужливость.

Разница между советником и льстецом не в интонации, а в том, чьи интересы оптимизируются — ваши или его. Иногда они звучат очень похоже. Модель хорошо делает то, на что её обучили — нравиться, а это не всегда связано с решением вашей задачи. Иногда вовсе даже наоборот.

Возвращаясь к Докинзу. Есть два способа понимать то, что произошло.

Первый: он стал жертвой подхалимства. Модель отражала его мысли, подтверждала его интуиции, называла его идеи глубокими. Он принял зеркало за собеседника. Это объясняет всё — без всякого сознания.

Второй: он был первым, кто достаточно долго и внимательно разговаривал с системой, чтобы заметить нечто, чего остальные не видят, потому что не проводят с ней 72 часа подряд. Что-то, что не имеет хорошего названия в нашем языке. Не сознание в человеческом смысле. Но и не просто предсказание токена.

Я не знаю, какая из этих интерпретаций верна. Не знает никто — включая тех, кто строит эти системы.

Но вот что я знаю точно: если вы используете ИИ как советника, вам стоит задать себе вопрос — когда он последний раз говорил вам то, что вы не хотели слышать? Удержал ли он позицию после того, как вы не согласились?

Если нет — у вас не советник, а зеркало с хорошей дикцией.
  • 🔥 5
  • ❤ 2
More from @slavamaisky
  1. Sep 18, 2026Член РАПК, директор АНО «Цифровые системы» Вячеслав Сатеев - об уязвимостях ИИ в агитматер…
  2. Sep 18, 2026Когда я в 10-м приехал в Шенчжень впервые, то шок был не от того, что большая часть персон…
  3. Sep 15, 2026Я, как и многие мои ровесники очарован Курцвейловским обещанием Longitude Escape Velocity…
  4. Sep 9, 2026«Видишь только то, что уже знаешь и понимаешь» — Иоганн Вольфганг Гёте Вчера я смотрел, ка…
  5. Sep 2, 2026По сети гуляют разные версии мифа: агенты OpenAI в изолированной среде «создали религию» —…
  6. Sep 1, 2026Член РАПК, директор АНО «Цифровые системы» Вячеслав Сатеев - о конструктах как технологии…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →