ИИ создаёт новые управленческие риски и возможности

Будем мы тренировать свое мышление с нейронкой или атрофируем его - зависит не от технологии.

Зависит от дисциплины внимания.

Интересно, что исследования по ИИ неожиданно пересекаются с наблюдениями православных аскетов XV века. Нил Сорский описывал механизм, через который чужая мысль становится собственной.

Он выделял несколько стадий: прилог → нерадение → прелесть.
Если убрать религиозный контекст, получается очень точная карта рисков работы с ИИ.

———

1. Подмена суждения (прилог)

Формула риска: Я думаю, что это моя мысль. На деле - я продолжаю мысль модели.

Это самый быстрый контур. Он может возникнуть за одну сессию даже у очень умного человека. Причина не в интеллекте, а в устройстве мышления.

Механизмы:
- эффект якоря (Tversky & Kahneman)
- предубеждение и автоматические реакции
- склонность языковых моделей соглашаться с пользователем.

Первый ответ становится первой гипотезой. После этого всё мышление начинает строиться вокруг неё. Пока повреждается не навык, а конкретное решение.

⸻

2. Атрофия навыка (нерадение)

Формула риска:
Я могу это сделать. На деле - я давно этого не делал.

Это уже медленный процесс. Не минуты, а недели и месяцы, раньше годы. Исследования когнитивного оффлоадинга показывают, что когда функцию регулярно выполняет внешний инструмент, навык начинает ослабевать.

Сначала поиск. Потом анализ -> аргументация -> принятие решений.

Механизмы:
- когнитивный офлоадинг (жуткие слова помогут найти свеженькое исследование)
- эффект Google
- дескиллинг

Особенно опасна атрофия способности формулировать вопросы. ИИ прекрасно отвечает. Но не умеет жить в неопределённости вместо руководителя.

Если регулярно получать ответы, минуя этап постановки проблемы, постепенно деградирует именно способность видеть ситуацию. А это ядро стратегического мышления.

Тут снижается качество не только конкретного решения, но самой способности принимать решения.

⸻

3. Искажение картины мира (прелесть)

Формула риска: Я правильно понимаю ситуацию. На деле - я опираюсь на неполную или ложную модель.

Это самый коварный контур. Потому что человек уверен, что понимает происходящее.

Схема выглядит так: Средневерный ответ → потерянный контекст → ложная причинность → уверенность → неверная модель мира.

Правильные правила внутри неправильной модели дают неправильный вывод.

Старая проблема экспертных систем. Новый масштаб.

Механизмы:
- конфабуляция причинно-следственных связей
- усреднение
- потеря контекста
- отсутствие сигнала неуверенности.

Именно здесь возникает ситуация, когда ИИ даёт не ошибочный ответ, а, скажем, средневерный ответ там, где требуется  индивидуально верное решение.

Тут уже не про решение и навык - повреждается сама картина реальности, на которой строятся все последующие решения.

⸻

Самое интересное, что эти контуры усиливают друг друга (грехопадение).

Принял чужую мысль за свою - перестал тренировать собственное мышление.

Перестал тренировать мышление - стало сложнее проверять чужие выводы.

Принял чужие выводы - начал смотреть на мир через чужую модель.

Поэтому главный риск ИИ - не просто ошибка или галлюцинация. Главный риск - потеря авторства мышления. Что в моём мышлении действительно моё (та самая свобода воли?)

Именно поэтому первой компетенцией эпохи ИИ было умение задавать вопросы. Сейчас к этому добавилось - умение не соглашаться с ответом.

Ну и дисциплина ума, конечно. Слава Богу, что наши аскеты уже все давно разработали... Есть фора у русской управленческой мысли, так сказать 😅