Когда о гибели человечества от ИИ говорит Jacob Coxon, вышедший из школы в 2017 году или Evan Hubinger, окончивший колледж в 2019 году, у меня возникает вопрос: а как эти люди вообще представляют себе мир?

Coxon пишет, что ИИ сможет получить ресурсы и выйти из-под контроля. Hubinger идет дальше: AI could kill all humans, вероятность — больше 10% за десять лет.

Хорошо. Как именно?

На это сторонники такого сценария любят отвечать аналогией с шахматами. Если вам скажут, что вы проиграете Магнусу Карлсену, то мол, бессмысленно спрашивать: каким именно ходом, через сколько ходов и в какой позиции — результат и так понятен.

Но это плохая аналогия. В шахматах мы заранее знаем правила, поле и механизм поражения. Мы знаем, что мат существует.

Здесь вопрос другой: каким вообще физически возможным способом программа в дата-центре уничтожает восемь миллиардов людей по всей планете?

И сам Coxon этот вопрос за сутки уже получил сотни раз. Когда его прямо спрашивают «как?», ответ примерно такой: агенты смогут сбежать, что-то взломать, нанести ущерб инфраструктуре, получить доступ к более мощным биологическим технологиям — и дальше каким-то образом всех убить.

Как после этого погибает пастух в Африке? Житель сибирской деревни? Люди во внутреннем Китае, Амазонии, на островах?

То есть все равно приходится искать мостик из цифрового мира в физический. Потому что получить контроль над облаками, банками, лабораториями и электросетями — это еще не kill all humans.

У меня все сильнее ощущение чудовищного американоцентризма.

Особенно интересно, как вообще устроена картина мира у очень молодых американцев из технологического пузыря.

Похоже что в ней мир — это как Сан-Франциско, там интернет, облака, банки, API, корпорации, лаборатории и дата-центры. Если контролируешь это — значит, контролируешь всё.

@gostev_future