ИИ – это сотое, последнее желание человечества
Исполнение этого желание может иметь столь мощные и необратимые последствия, что ошибка в его использовании способна исключить возможность что-либо исправить в будущем
Люди плохо распоряжалось прошлыми технологическими скачками, что не даёт особых оснований верить в мудрое использование последнего – получить в свои руки Сверхразум ИИ.
Об этом я впервые написал еще за три года до публичного запуска ChatGPT. Уже тогда я уподобил Сильный ИИ мумифицированной обезьяньей лапе из одноименного рассказа Джейкобса (в силу наложено на нее заклятье, она выполняла любые желания, но с чудовищными последствиями для пожелавших). У прОклятой старым факиром обезьяньей лапы была иная – нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой. В страшной логике желаний, которые исполняла обезьянья лапа, последнее желание уходило на то, чтобы отменить последствия предыдущих.
 
С тех пор прошло 7 лет. Для безумных скоростей развития ИИ – это порядка века. И во 2-й половине 2026 мы оказались уже в ситуации, когда, возможно, нам остается лишь последнее желание. Ибо, как сказала Аджея Котра (эксперт по оценке ИИ-рисков в METR) про тот факт, что ИИ-агенты научились умирать друг за друга: «Это серьёзный предупредительный выстрел, и, возможно, последний».
 
Используя драматическую логику фольклорных желаний, несущих пожелавшим лишь зло, Юваль Харари в интервью главному редактору журнала The Economist рассматривает появление ИИ-сверхразума через призму аналогичной метафоры. Истории про джинна в бутылке, который дал нам 100 желаний. Мы использовали 99 из них, и мир от этого не стал сильно лучше. И теперь, когда у нас осталось лишь последнее желание, нам нужно проявить мудрость и очень хорошо подумать, на что его потратить.
 
Джинн – это не сам ИИ, а вообще технологическая/научная мощь, которую человечество получало на протяжении истории: каждое крупное изобретение (порох, ядерная энергия, интернет, соцсети) – это одно «исполненное желание». Харари констатирует: 99 желаний уже потрачены, и результат неоднозначный – «мир не в таком уж хорошем состоянии». ИИ – это сотое, последнее желание: настолько мощное и необратимое, что ошибка в его использовании закрывает саму возможность исправиться в будущем.
 
Дедлайн «последнего желания» человечества, по мнению Харари, между  2028 и 2036: «К ноябрю 2028 года может быть уже слишком поздно. К 2036-му – точно будет поздно».
 
И вряд ли разумно списывать этот дедлайн, как очередной алармистский прогноз. Ведь даже представители ведущих разработчиков ИИ и ведущих экспертов по оценке ИИ-рисков полагают, что последний предупредительный выстрел, возможно, уже прозвучал.
 
Иллюстрация - коллаж на основе картины Samuel Bak “The Creation of Wartime III”

ИИриски