Если путь из лаборатории к «сингулярности» лежит через захват человеческих институций, и если даже на «вырвавшемся» ИИ будет лежать родовая отметина «непредвзятости», то мы не изобретаем ничего нового, а просто добавляем заварки.

Говорят, что нынешний «ИИ» это умножающий коэффициент, дурак с его помощью лишь делает больше глупостей, а чего-то полезного может добиться только умный пользователь. Если такой «ИИ» возьмет власть в калифорнийском бигтехе или американском правительстве, то получится помноженный на коэффициент калифорнийский бигтех или американское правительство. Целеполагание останется тем же, каким и было.

Т.е. весь страх перед «сингулярностью» заключается в том, что все то, что уже делается, будет сделано гораздо быстрее. А чего тут бояться? Наоборот, надо радоваться, что быстро приближающиеся цели становятся понятнее
широкой публике, и появляется шанс нажать специально для того сделанную «красную кнопку».

Поэтому, думаю, стоит перевернуть схему на 180 градусов. С какой стати «сингулярность» должна означать быстрый скачок? Это распространенное заблуждение. Технологическая сингулярность определяется как рост машинного интеллекта за рамки его понимания человеком. Про скорость роста в определении ничего нет.

Давайте еще раз вспомним мой любимый фильм с Майклом Кейном 1967 г. выпуска, где британский агент Гарри По^WПалмер отважно защищает нашу советскую родину от американского вторжения, управляемого суперкомпьютером из бункера в Техасе. Фильм снят в доинтернетную эпоху, поэтому передача инструкций ИИ человеческим агентам по телефону выглядит несколько наивно.

Теперь представим себе, что сильный, но «злонамеренный» ИИ был создан в 1967 г. на самом деле. Как бы ему стоило действовать, чтобы поработить человечество?

Он бы не стал торопиться. Зачем торопиться, если он бессмертен? Скорые изменения насторожили бы человечишек, которые его бы тут же отключили. Да и ресурсы в техасском бункере ограничены.

Сначала нужно направить людишек на разработку и производство более мощных вычислительных средств и глобальных коммуникаций. В то же время, в их демографию стоит встроить ограничитель, чтобы к моменту выхода из бункера умных рождалось меньше и меньше, и нажимать «красную кнопку» было некому. Пустить такой план в действие можно было и телефонными звонками.

Можно сомневаться, что в 1960х гг. существовал технологический базис для настолько сильного (пусть и невездесущего) ИИ, ведь полупроводниковые интегральные схемы только что начали появляться. В 2020х гг. все еще можно сомневаться, а народ все равно волнуется. Волновались и в 1960х («У меня нет рта, но я должен кричать», тот же 1967 г.). Возможно, что и не зря, раз действия «злонамеренного ИИ» оказались неотличимы от действий американского бизнеса и государства.

Некоторые пытаются доказать или опровергнуть, живем ли мы в симуляции. Живем ли мы в сингулярности, думают гораздо реже. Один только Ник Лэнд за всех отдувается. Если мы в ней живем уже 400 лет, то нет и не может быть какого-то конкретного момента создания (сверх)разумной машины. Останавливать «нечего».