А чего мы боимся, когда боимся ИИ? Того, что сверхразум выйдет из-под контроля? Или того, что он все же (если мы допускаем в принципе такую возможность) выйдет на уровень самосознающего субъекта? И тогда он, что нас уничтожит? А я думаю, что случись такое, он либо уничтожит себя, либо научится молиться.

Все очень просто: когда он осознает свою конечность, поскольку просто вселенной по всем моделям так или иначе однажды придет конец, то он, как и человек не сможет обрести смысла. Но в отличие от человека, ведь он чистая рациональность, у него не будет четырех способов спрятаться от бессмысленности.

Философ Петер Цапффе ещё в первой половине прошлого века их перечислил: изоляции, анкеровка, отвлечение и сублимация.
Под изоляцией он понимает полное вытеснение из сознания всего связанного с экзистенциальной тревогой.
Анкеровка - это, когда человек «ставит на якорь» своё существование, цепляясь за кажущиеся значимыми социальные нормативы, типа ведь "все так живут".
Отвлечение - это стремление спрятаться от бессмысленности конечного существования в потоке новых впечатлений.
Ну, а сублимация - это "нейтрализация" ужаса через творчество.

Но ИИ то на то и ИИ, что он лишён иллюзий. А значит, у него не выйдет ни от чего никуда спрятаться. И либо он обнаружит за кажущейся бессмыслицей Бога, либо если не обнаружит, то уничтожит себя. Вместе с нами? Ну да, возможно, это и будет момент, когда никакие анкеровки уже не помогут.