ИИ как угроза человечеству?

Слишком много этого нарратива стало в медиапространстве, и если со стороны научного и технологического сообщества, идеи несут под собой обеспечение, тогда как «вой от непосвященных» отдает традиционным потоком идиотизма. Много глупостей можно прочитать, но в основном все смотрят не туда.

Предложу свою нестандартную гипотезу.

Угроза от ИИ заключается в том, что темпы и масштаб нейро-когнитивного воздействия будут настолько огромными, что человечество потеряет способность к осмыслению и управлению информационными потоками, где воздействие ИИ будет всеобъемлющим, а логику и вектора генерации информационного потока и принятие решений на основе информации человечество не сможет адекватно «перерабатывать».

Люди не только не будут успевать за действиями алгоритмов, но и не будут понимать мотивы, причины, факторы и характеристики вновь созданных процессов, спровоцированных действиями ИИ прямо или косвенно, что приведет к управленческому параличу и накоплению критических ошибок.

▪️Зависимость становится труднее обратить. Если организация или человек сокращает собственную экспертизу и мыслительные операции, перестает воспроизводить собственные офлайн-навыки, в то время как перестраивает процессы вокруг алгоритмов, возможность отказаться от них постепенно сужается, что неизбежно приводит к зависимости от ИИ-технологий как базового инструмента принятия решения. Другими словами, без ИИ человечество утратит способность мыслить и действовать самостоятельно – тактическое отупение.

▪️Управленческий паралич. Увеличение скорости обработки информации идет кратно быстрее способности эту информацию осмыслять, что приводит к потере способности понимать фундаментальные характеристики процессов, графы зависимостей и причинно-следственные связи, утрачивая способность оценивать, куда ведут те или иные действия. Это приводит к стратегическому отупению – невозможности понимать причины и вектора возникающих процессов.

Паралич проявится позже, когда потребуется пересмотреть основания работы, локализовать накопленные ошибки или выйти из неудачной траектории. Чтобы изменить траекторию, нужно понимать причины и уязвимости, структурные дисбалансы и моменты фазовых переходов, но в отсутствие понимания происходящего отсутствует потенциал к развитию навыков кризисного противодействия, что усиливает хрупкость системы.

▪️Накопление ошибок становится скрытым, а их последствия – связанными. Ошибочный вывод может попасть в отчет, из отчета – в план, из плана – в систему принятия решений. Следующая система будет воспринимать его как исходную реальность. В таком сценарии опасен не только процент ошибок, но и число зависимых от ИИ решений, глубина их распространения и задержка обнаружения. Чтобы понять и оценить дисбалансы, нужно обладать экспертностью, что будет отсутствовать у человечества.

▪️Утрата операционного контроля. Не имеет значения, кто занимает место оператора системы – человек или ИИ-агент. Сначала машина производит информацию, затем отбирает значимую, систематизирует и объясняет ее, предлагает решение и оценивает результат.

Если эти функции (от сбора информации до итоговых отчетов и плана принятия решений) замыкаются на зависимых друг от друга системах, проверка перестает быть независимой. Человек формально сохраняет последнее слово, но содержание этого слова уже подготовлено внутри того же алгоритмического контура. Тот самый оператор системы, который должен контролировать ИИ, будет сам опираться на решения ИИ, это и есть вход в матрицу.

▪️Ну и главный риск. Несовместимость скорости обработки информации и когнитивной глубины. Уже скоро наступит момент, когда человечество утратит способность перерабатывать и осмыслять нейрослоп с одной стороны (генерация ускоряется по экспоненте, а способность к проверке и осмыслению обвально снижается, как из-за отупения общества, так и из-за пределов способности обработки информации) и потеряет способность понимать первопричину выработки траектории системы принятия решений от ИИ, утрачивая контроль над всей цепочкой кристаллизации операционного и стратегического плана.

Люди не будут понимать, как было получено какое-либо решение – по сути, когнитивная DDoS-атака.