Он существует. Вы видели его вчера.
Вы подумали про рой, собранный в подвале по чертежам от ИИ? Но речь про комара Anopheles gambiae. Он работает без оператора, размножается сам и уносит сотни тысяч жизней в год. Эволюция собрала его без всякого сверхразума – и дальше начинается самое неприятное.
Это центральная мысль статьи Феликса Шуссата «Проблемы распространения». Вчера на нее указал Дин Болл – соавтор трамповского Плана действий США в области ИИ, а с 6 июля глава команды Strategic Futures в OpenAI.
Болл рассказал, как очень влиятельный человек из индустрии спросил его, при каких обстоятельствах мы окажемся в безвыходном положении, и назвал статью Шуссата тем самым сценарием, который тогда описал в ответ.
Шуссат свел аргументацию к одной фразе: то, что существующее сверхоружие неудобно создавать и применять, – везение, а не закон природы. Заставьте ИИ бросать кости десять триллионов раз, и однажды выпадет та самая комбинация: найдутся дешевые способы собрать зеркальные бактерии или василиска Лэнгфорда.
Отмахнуться тут легко: мол, это из разряда триллиона обезьян, печатающих «Войну и мир», или самолета, собравшегося сам собой на свалке после урагана.
Разница в том, что обезьяны и ураган перебирают варианты вслепую. ИИ ищет целенаправленно, и именно за это ему платят.
Насколько это фантастика?
Бомба, сброшенная на Хиросиму, выглядит априори неправдоподобно: возьмите два инертных куска металла (каждый по силам унести одному человеку) и сведите их вместе определенным образом.
Без понимания релятивизма, физики частиц и экспоненты в ветвящихся процессах мысль о городе, стертом двумя кусками металла, звучит как бред. Понимание пришло – и бред стал инженерной задачей.
Несколько лет медиа пугали аудиторию боевыми комарами из американских биолабораторий. Сегодня от этой истории остался лишь мем. Неприятная же часть в том, что Шуссат описывает путь, которым боевого комара можно было бы сделать всерьез, и путь этот проще, чем строить рой с нуля:
Взять осу, изменить ее поведение и жизненный цикл, добавить нейротоксин и темп размножения саранчи.
Выйдет экспоненциально растущий рой автономных охотников, которому не нужны ни оператор, ни завод, ни цепочка поставок.
Главный вывод статьи касается обороны.
Защититься нельзя: гражданское население невозможно спрятать и невозможно быстро эвакуировать, оборона строится годами, закрывать приходится все направления сразу, а нападающему достаточно одного незакрытого. Отсюда Шуссат выводит то, от чего поморщатся все стороны спора: единственный выход – режим нераспространения ИИ по образцу ядерного, с монополией нескольких государств, глобальным мониторингом и силовым пресечением чужих проектов.
Читатели этого канала узнают формулировку.
Семь лет назад я начал цикл «Большой Брат – сын Большого Бога» ровно с нее: в мире дешевых черных шаров безопасность придется купить ценой концентрации власти, а тотальный надзор станет эволюционной компенсацией за очередной скачок сложности. Я шел к этому от гипотезы уязвимого мира Бострома и теории Больших Богов Норензаяна и Турчина. Шуссат пришел из стратегического анализа нераспространения, опираясь на того же Бострома. Разные двери в одну комнату.
Майкл Нильсен в концепции мудрого оптимизма пытается провести мир между катастрофичной Сциллой и тираничной Харибдой. Он соглашается, что рецепты разрушения рано или поздно будут найдены, но отказывается принимать этот выбор как данность и ищет надзор, совместимый со свободой, – работающий на всех, кроме тех, кто готовит катастрофу. Пока это гипотеза без единой реализации.
Мое резюме – увы, то же, что и 7 лет назад. Выбор, который ставит перед цивилизацией эпоха ИИ, лежит между двумя классами необратимости. Катастрофа без глобального надзора или тирания под ним. Третий путь существует только на бумаге, и времени перевести его с бумаги остается меньше, чем кажется.
Фото: Дженис Хейни Карр
#БольшиеБоги #БольшойБрат
_______
Источник | #theworldisnoteasy