На теории всегда лежит тяжелый отпечаток повседневности её теоретика. Например, на теории эволюции Дарвина-Спенсера — отпечаток викторианской эпохи. К «выживает самый приспособленный» нужно обязательно добавлять «попрошайка в ист-эндской ночлежке».

Любой достаточно долгий разговор про механику «происхождения видов» останавливается на происхождении экологических ниш и пищевых цепочек. Появляются неудобные для викторианцев вопросы. Можно ли перейти в другую экологическую нишу (социальный класс)? Что оказывает эволюционное давление на высших хищников (королевскую семью) Ответы могут быть только политкорректными и оттого глупыми.

Примерно так же нужно рассматривать современную «ИИ»-истерику, раздуваемую сингулярщиками Кремниевой Долины. Это американские или американизированные компьютерные нёрды возрастом примерно 35-55 лет, чья юность пришлась на 1980е-начало 2000х гг., когда полупроводниковая и телекоммуникационная промышленность развивалась бурными темпами, что произвело на них неизгладимое впечатление.

Это была первая социальная когорта, которая взрослела, сидя дома, и от того не выработала навыков общения с людьми. Внешний мир их не интересовал, представления об устройстве человеческих обществ они получили из научно-фантастических утопий. Поскольку производство компьютерной техники уже уехало в Восточную Азию, откуда приезжали готовые изделия, они не выработали и технических навыков.

Если сейчас взять за шкирку произвольного аутиста-зумера, отобрать телефон с тиктоком и спросить «как развивается реальность», то он тоже через некоторое время ответит «сингулярность» исходя из первых принципов.

Поскольку для сингулярщиков человеческое общество с его сложными и появившимися не на ровном месте политическими и религиозными системами является «черным ящиком», они думают, что сильный ИИ будет взаимодействовать с людьми и принуждать их выполнять его волю по одиночке. Самые способные воображают, что ИИ создаст «культ» себя любимого, но это, думаю, просто отсылка к американской молодежной культуре 1980х-начале 2000х, которая постоянно высмеивала «христиан».

С паяльником и мультиметром поиграть тоже не успели, поэтому представления сингулярщиков о физике самые дикие. На прошлой неделе все уже обсудили фантазию о том, как один изолированный ИИ переговаривается с другим изолированным ИИ, нагревая и охлаждая свой процессор. Конечно, анализ побочных каналов это серьезная тема в информационной безопасности, только пропускная способность там порядка единиц-десятков бит в секунду — сильным ИИ не хватит. Но это репрезентативная иллюстрация уровня образования.

Хорошо, ни историю, ни физику сингулярщики не знают, но может быть, они — философы, представители особого аналитического течения, которые работают с абстракциями и спекуляциями, не связанными с частностями сложившейся науки? Снова незадача — у них плохо с пониманием проблем, с постановки которых аналитическая философия и началась.

Я имею ввиду «парадокс Рассела», т.е. проблему самоотносимости в рекурсии. Сингулярщикам кажется, что самоулучшающийся ИИ это очень умная идея, с которой невозможно спорить, но они постоянно путаются в последовательности шагов самоулучшения, или вовсе часть пропускают. У них постоянно выходит, что для возникновения сильного ИИ нужен еще более сильный ИИ.

Но допустим, один из таких сценариев произойдет, и интернет будет полон копий сильного ИИ. На этом все и закончится. Все читали/смотрели «Солярис», поэтому всем кажется, что разум размером с планету пропорционально умнее человека, а это не так.

В распределенной сети вычислительных узлов затраты на коммуникацию между ними растут быстрее, чем преимущество от повышения числа операций в секунду. Нет ни одного работающего проекта распределенного обучения больших языковых моделей на миллионе домашних компьютеров. Думаю, что и не будет. Глобальная сеть слишком медленная и всегда будет медленнее шины внутри одного кристалла.