Про ИИ сейчас пишут на каждом углу, но я считаю, что все пишут неправильно. Придётся исправлять ситуацию самому!

Например, многие опасаются ИИ, но почему-то боятся только очень банальных голливудских сценариев.

Ну там, настанет мир «Терминатора» и ИИ нас уничтожат.

Пфф, ну почему у человечества такая бедная фантазия-то?

Как в ужастиках категории Б, которые полагаются на «внезапно выпрыгивающего монстра». Ну да, от такого невольно отпрянешь, но это дешёвый приём.

Если уж придумывать ужастик, то великий, как фильм «Сияние», песня Radiohead «Exit Music» или книга Стругацких «За миллиард лет до конца света». Экзистенциальный. Когда против тебя не просто монстр (его убить сложно, но возможно), а словно само мироздание, с которым ничего не сделаешь.

Когда ты не понимаешь происходящее и никогда не поймёшь. Обычный монстр опасный, но можно догадаться, где его слабые места и как его победить. А вот как победить в игре, когда ты даже не способен понять её правила?

По-моему, самая страшная сцена «Сияния» — это не та мемная, где Николсон ломится с топором через дверь. А та, где жена видит текст «All work and no play makes Jack a dull boy». Это непонятнее, чем топор. Понятно только, что вся прежняя жизнь была ложью.

---

И вот вам для примера лишь один из множества пугающих сценариев, в котором ИИ нас НЕ убивает, а мирно помогает. Я не говорю, что сценарий верен — просто он демонстрирует, насколько всё может отличаться от банального «злого ИИ»:

Нейросети становятся умнее нас. Помогают совершить много научных прорывов. И тут оказывается, что все наши базовые представления о мире были ошибочными.

Когда-то людям было психологически сложно принять вещи типа «Земля круглая». Нельзя слишком резко шатать людям картину мира. Для этого требуется время.

А теперь представьте, что мы узнаем тысячу подобных вещей за одну неделю.

То есть узнаем, что ВСЯ НАША ПРЕЖНЯЯ ЖИЗНЬ БЫЛА ЛОЖЬЮ.

Все решения, которые мы принимали, исходили из ложных предпосылок. Мы не то хвалили и не то ругали.

Сможем ли мы с этим психологически справиться?

Для примера вот лишь одна из этой тысячи вещей. Когда нейросети станут умнее нас, мы все можем внезапно по-настоящему ощутить, что мы сами лишь слабенькие нейросети.

Мы сняли много киберпанка о том, как робот/программа понимает, что он робот: «Бегущий по лезвию», «A.I.», «Нирвана» (та, которая 1997 года), «13-й этаж»... Но обычно люди это смотрели со стороны людей. «Ути какой бедняжечка, как ему сложно». А ТУТ ЛЮДИ ДРУЖНО ОЩУТЯТ, ЧТО ОНИ И ЕСТЬ ЭТОТ РОБОТ И ИМ НАДО БЫЛО СМОТРЕТЬ ФИЛЬМ С ЭТОЙ СТОРОНЫ.

Вопрос: какого масштаба экзистенциальный кризис тогда ждёт человечество?

И если вдруг какие-то подобные сценарии окажутся верны, то к ним надо готовиться уже сейчас. Потом времени на раскачку не будет. А человечество занято лишь обсуждением вопроса «каким оружием ИИ будет нас убивать». Даже специалисты по AI safety, кажется, в основном заняты этим.