🌀☢️🤖 Сегодняшняя ситуация напоминает атомный век, но с одной принципиальной разницей. Между открытием деления ядра и созданием международной архитектуры ядерной безопасности прошли десятилетия. Искусственный интеллект не оставляет нам такой временной роскоши. Поколения моделей сменяются быстрее, чем дипломаты успевают согласовать определения предыдущего поколения.

Допустим, руководители США и Китая одинаково хорошо понимают потенциальную опасность неконтролируемого развития искусственного интеллекта. Из этого вовсе не следует, что они остановят гонку. Возникает классический парадокс: рациональность каждого способна породить иррациональность системы. Никому не нужна катастрофа, но каждому опасно остановиться первым.

И здесь начинается самое тревожное. Ядерная гонка и гонка искусственных интеллектов существуют не независимо друг от друга. Они постепенно входят в синергию. Слово это обычно употребляют в положительном смысле, однако бывает и синергия катастроф.

Вторая технологическая гонка начинает раскачивать первую. Чем напряженнее стратегическое противостояние, тем сильнее стимул использовать ИИ для получения преимущества. Чем глубже ИИ входит в военные системы, тем выше риск ошибочной классификации, киберманипуляции или такого ускорения принятия решений, при котором человеку остается все меньше времени на проверку. Возникает положительная обратная связь: ядерное противостояние ускоряет военное применение ИИ, а военное применение ИИ способно увеличивать нестабильность ядерного противостояния. Две спирали начинают закручиваться друг вокруг друга.

Если два риска независимы, мы можем анализировать каждый отдельно. Но если первый изменяет вероятность реализации второго, а второй возвращается и усиливает первый, возникает уже нелинейная система. Небольшое возмущение способно пройти по контуру, усилиться и вернуться в исходную точку значительно большим. Это и есть самая опасная особенность двухспиральной конструкции.

Главный вопрос XXI века: сумеет ли человечество научиться ограничивать собственную мощь быстрее, чем научится ее увеличивать?

Нурали Латыпов продолжает цикл своих материалов для дискуссии статьей об опасностях складывающейся сейчас ситуации двухспиральной конструкции из ядерного и ИИ треков.
https://russiancouncil.ru/analytics-and-comments/analytics/dvukhspiralnaya-udavka-na-budushchem/