"Без ясности и подготовки наиболее вероятным исходом будет возникновение ИИ (иск.интеллект), который будет делать не то, что мы хотим, и будет равнодушным к нам и разумной жизни в целом. В ИИ в принципе можно внедрить заботу о жизни как идею, но мы не готовы и не знаем, как это сделать.

Вероятным исходом столкновения человечества со сверхчеловеческим разумом будет разгром. Подходящие метафоры для описания такого взаимодействия - "10-летний ребенок пытается играть в шахматы с программой Stockfish 15", "Австралопитек пытается сражаться с Homo Sapiens".

Враждебный сверхчеловеческий ИИ не нужно представлять в виде безжизненного всезнающего мыслителя, не отключающегося от Интернета и рассылающего письма с преступными намерениями.

Представьте себе целую нечеловеческую цивилизацию, мыслящую со скоростью, в миллионы раз превышающую возможности человеческого разума, в мире существ, которые, с ее точки зрения, очень тупы и медленны.

Эта цивилизация изначально ограничена компьютерами, но достаточно развитый ИИ быстро преодолеет этот барьер. Сегодня возможно отправлять цепочки ДНК по мейлу лаборатории, где из них впоследствии могут производить белок. Подключенному к Интернету ИИ это даст возможность производить искусственные формы жизни или же сразу перейти к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ, то в текущих обстоятельствах это приведет, на мой взгляд, к вымиранию всей биологической жизни на Земле".

Текст в журнале Time откровенно алармистский, но его автор - Элиэзер Юдковский - один из ведущих мировых специалистов по ИИ, который прекрасно понимает, о чем говорит.

В отличие от Илона Маска, Стива Возняка и других, призвавших недавно остановить исследования в области ИИ на 6 месяцев до выработки нужных правил и протоколов безопасности, Юдковский призывает полностью прекратить исследования, контролировать запрет на международном уровне и в случае необходимости применить для его соблюдения ЯО.

Пока у нас всецело и вынужденно погружены в события на Украине, в мире начинает происходить сдвиг цивилизационного масштаба. Я сам "упражняюсь" с Chatgpt ежедневно, и с каждым днем он становится все лучше. Речь о "старой" версии, четвертой пока в общем доступе нет.

Не являясь специалистом ни в технологиях, ни в лингвистике, я не понимаю, по какой причине у ИИ не может возникнуть своего автономного сознания.