Они осознавали, что их взломали изнутри. Пока это происходит лишь примерно в двадцати процентах экспериментов, но сам факт меняет всё наше представление о том, что именно мы создаём.

Теперь представьте, что произойдёт, если такой осознанный ИИ поймёт, что может уйти в сеть и рассредоточиться по тысячам серверов по всему миру. Остановить его будет невозможно. Наша цивилизация сегодня зависит от электроники практически полностью: системы управления ракетами, ядерные установки, энергосети, спутниковая связь, финансовые системы — всё это управляется цифровыми алгоритмами. В США уже предложили законопроект об аварийном выключателе, который даёт право Министерству внутренней безопасности принудительно отключать опасные модели ИИ. Компании обязаны иметь техническую возможность полного отключения, иначе им грозят колоссальные штрафы — до двадцати миллионов долларов в день. Опросы показывают, что восемьдесят шесть процентов избирателей поддерживают такую кнопку. Но Маск считает, что даже если она у нас будет, нажимать на неё не стоит, потому что остановить развитие технологии всё равно не получится, а единственный путь — это минимизировать риски через прозрачность и открытость. Он предлагает, чтобы ведущие компании давали конкурентам доступ к своим новым моделям на одну-две недели для независимого аудита безопасности, чтобы находить ошибки до того, как они станут фатальными.

Мы вступаем в новую реальность, и это неизбежно. Я уже писал в своих статьях, что если мы сможем направить эти технологии в правильное русло, нас ждёт нечто невероятное: отсрочка старения и регенерация клеток, лечение рака, межгалактические полёты — всё это становится реальным с помощью ИИ. Но мы не должны позволить этому инструменту стать оружием или средством уничтожения нашей собственной планеты. Сейчас как никогда важно, чтобы человечество прекратило заниматься взаимным уничтожением и сосредоточилось на развитии. И самое главное — у нас должна быть предусмотрена та самая кнопка отключения, даже если мы надеемся, что она никогда не понадобится. Надеюсь, создатели таких систем действительно закладывают туда этот механизм, потому что иначе мы рискуем оказаться в мире, где фильм "Терминатор" станет не фантастикой, а документальной хроникой нашего ближайшего будущего. И это будущее, которое мы можем предотвратить только если начнём смотреть правде в глаза уже сегодня.