Василиск Роко, сломавший тему об искусственном сверхразуме

Если кто-то думает, что мне, кикиморе, существу древнему и сказочному, свойственно непонимание современного IT-фольклора, то этот кто-то ошибается.
Сегодня я представлю виртуального монстра, одно упоминание о котором разрушило мнимую рациональность форума LessWrong. Этот форум основал знаменитый философ-визионер Элиезер Юдковский ради преодоления предубеждений и развития человеческой рациональности - так было заявлено...

…На мой кикиморский взгляд, рациональности там было мало. Юдковский нагонял ужас перед искусственным сверхразумом. Его книга, совместная с Нейтом Соаресом, названа: «Если кто-то его создаст - все погибнут». Когда кто-то нагоняет ужас перед непонятно чем, которое будет сделано неизвестно как – то это иррациональность.

Тем не менее, ужас успешно нагонялся до 23 июля 2010-го, когда некий фигурант с ником Roko привел на форум виртуального василиска.
📌 Василиск - петух с крыльями дракона и хвостом змеи. Своим взглядом он:
- ломает камни,
- сжигает траву,
- превращает людей в камни (которые ломает, см. выше)

Роко не упоминал василиска, а оставил на форуме такое рассуждение:
➡️ Допустим, Super-AI будет создан и начнет уничтожать людей. Поскольку Super-AI будет супер-рациональным, он начнет с уничтожения людей, которые активно противились его рождению. А те люди, которые наоборот, поддерживали его рождение, будут, во всяком случае, уничтожены позже (а может, Super-AI даже пощадит их). Значит, если Super-AI действительно так ужасен, как говорят Юдковский и Соарос, то рациональная позиция состоит в том, чтобы поддерживать его рождение. Ведь это единственный шанс выжить.

…Юдковский прочел, впал в неистовство, стер рассуждение, забанил Роко, и объявил на форуме запрет таких идей. Запрет привел к обратному результату (сработал т.н. эффект Стрейзанд), а сама идея получила название «Василиск Роко».
В 2015-м запрет был снят. Администраторы форума LessWrong то ли поняли, что лишь раскручивают популярность василиска Роко, то ли сами поверили в него 🙄