Читатель пишет, что сингулярщики уже пытались решать проблему «покорности ИИ» рекурсивно, чему свидетельствует их давняя статья (2013 г.)

Очень хорошая иллюстрация всему, что я говорю. С чего бы начать?

Авторы «статьи» (точнее, наброска) — цадик Юдковский и некий Херресхофф. Понятно, что Юдковский там не написал ни слова, потому что его из школы рано забрали родители-ортодоксы, занявшиеся его обучением «на дому» (т.е. талмудическим, а не светским). Все писал Херресхофф, за пару лет до этой публикации закончивший бакалавриат по математике.

Молодыми математиками, которые только что освоили сложный теоретический аппарат, часто движет страсть применения этого аппарата, в ущерб наглядной иллюстрации своих мыслей. Им кажется, что главное навалить греческих букв и других символов, а результат сам собой как-то получится потом. Прекрасно понимаю, я сам через это проходил в том возрасте.

Херресхофф много навалил, красиво набрал в латехе, но в «статье» нет никакого вывода. Его там и не может быть, потому что его аргумент довольно быстро разваливается, что он и признает.

Объясню его идею вкратце. Как доказал великий Гёдель, формальная система не может доказать свою собственную непротиворечивость, поэтому новые поколения самоулучшающегося ИИ должны будут пользоваться все более слабыми формальными системами, чтобы их предок мог доказывать их «покорность».

Это послабление принимается, потому что более слабая система доказательств сама по себе не означает, что ИИ-потомок не сможет быть «рациональнее» (т.е. предсказывать будущее точнее) предка. Это значит лишь то, что число поколений будет заранее ограниченным, а потому «сингулярность» не гарантируется.

Следующее послабление: отказаться от формальных доказательств и представить, что предок определяет «покорность» потомка не наверняка, а с достаточно высокой вероятностью. Здесь возникает парадокс: менее «рациональный» (т.е. предсказывающий будущее менее точно) предок не сможет предсказывать действия более «рационального» (т.е. предсказывающего будущее более точно) потомка, и тогда не гарантируется «покорность».

Последние 20 лет сингулярщики играли между собой в тяни-толкай: если есть «сингулярность», то нет «покорности», и наоборот. Поскольку талмудическое учение говорит о неизбежности конца света, договорились, что проблема «покорности» нерешаема, И МЫ ВСЕ СКОРО УМРЕМ ААА.

У сингулярщиков было еще и сведенборгианское направление, ведомое великим мастером Бустрёмом, но последние 10 лет о нем что-то не слышно. Догадываюсь, что именно потому, что Бустрём довел до конца идею рекурсивной «непокорности»: сверхсильных ИИ будет много, и все они будут заняты друг другом, им будет не до мясных мешков.

Поэтому он переключился на пророчества о том, как с социал-демократического Сатурна вернется Сведенборг на голубом НЛО и бесплатно покажет кино. Явное противоречие с Талмудом и прогнозами котировок фондовой биржи.

Повторю, что все эти размышления ведутся абстрактно, в отрыве от производственной базы. В физическом мире есть предел на скорость самоулучшения того, что сейчас называется «ИИ», хотя бы потому, что бесконечно добавлять умножители матриц нельзя, потому что процесс «обучения» градиентным спуском не поддается бесконечной параллелизации.

Более того, в прошлом году уже закончились написанные людьми тексты для обучения, а в этом — заканчиваются задачки, на которых можно было бы вести обучение с формально проверяемым результатом [1]. Что делать дальше — никто не знает. Это объясняет начавшиеся призывы «замедлить прогресс ИИ», потому что иначе станет очевидно, что никакой «сингулярности» в ближайшие годы не будет. Следующий шаг — американская бомбардировка Тайваня.

[1] RLVR, благодаря которому стал возможен столь удивляющий профанов «прорыв» в «программировании» и «математике», целиком зависит от теорий языков программирования и формальных доказательств, специалистов в которых уже несколько десятков лет совершенно бесплатно макают головой в унитаз.