Пару дней назад, в «Ситуационной комнате» CNN Памела Браун спросила Джеффри Хинтона, когда люди увидят сверхинтеллект и неизбежен ли он. Нобелевский лауреат, которого телевидение давно зовёт крёстным отцом ИИ, отвечал из квадратика в правой половине экрана, а за спиной ведущей белел Капитолий. Внизу ползла строка о цене дизеля, выросшей с начала войны с Ираном на две трети, и о досрочном голосовании на промежуточных выборах. Над головой Хинтона в это время висела плашка с цитатой президента, согласно которой всякий, кто не называет ИИ «сверхинтеллектом», считается врагом.

Хинтон ответил, что наверняка не знает никто и никто даже не знает, неизбежно ли это, но большинство специалистов ждут сверхинтеллект в ближайшие десять лет, а некоторые через год или два. Для человечества, по его словам, это будет значить, что нам придётся делить планету с существами, которые умнее нас почти в любом интеллектуальном деле. Это очень страшно, если нет уверенности, что наши интересы им всегда будут дороги. Уверенности нет, потому что крупные компании наперегонки делают ИИ как можно умнее, чтобы продавать его вместо работников, и почти не думают, как выразился Хинтон, о других свойствах существа.

Если уж делить планету с кем-то умнее нас, хотелось бы, чтобы он заботился о нас больше, чем о себе, но над этим, говорит Хинтон, не работает никто. Летом прошлого года он называл то же самое материнским инстинктом, потому что единственный известный нам пример, когда менее умный управляет более умным, это младенец и его мать. Вероятность того, что без серьёзной работы над этими свойствами мы создадим машины, с которыми не захотим жить на одной планете, он оценивает в десять или двадцать процентов. Браун напомнила его сравнение с самолётом, на который с такими шансами разбиться никто бы не сел, и Хинтон его подтвердил. Цифру он называет, чтобы показать серьёзность риска, и сам уточняет, что в восьмидесяти случаях из ста беды не будет, но и оставшихся достаточно, чтобы тратить силы на защиту уже сейчас.

В конце сентября Трамп подписал указ «Об открытии эры сверхинтеллекта», который велит ведомствам писать SI вместо AI, а восьмого октября объявил врагами всех, кто по-прежнему говорит «искусственный интеллект». Безос новое слово поддержал, потому что «искусственный» звучит не слишком лестно, и я до сих пор гадаю, кому он боится недостаточно польстить. Древняя заповедь запрещала произносить имя Бога всуе, а новая вера требует произносить имя своего божества под угрозой стать врагом, причём заранее, пока самого божества ещё нет. Накануне эфира Хинтон ответил в The Guardian, что одним названием машину умнее людей не сделаешь.

О других свойствах существа Давид Юм писал ещё в 1739 году, когда объяснял в «Трактате о человеческой природе», что «разум есть и должен быть лишь рабом аффектов». Разум только подбирает средства, цель ему задаёт страсть, и Юм показал это на примере, который сегодня трудно читать спокойно. «Я ни в коей мере не вступлю в противоречие с разумом, если предпочту, чтобы весь мир был разрушен, тому, чтобы я поцарапал палец», пишет он и сразу добавляет, что разуму не противоречит и решение погибнуть ради совершенно незнакомого человека. Разуму всё равно, какую из двух страстей обслуживать, и выбор между гибелью мира и жертвой ради чужого делает не интеллект, а то, что Хинтон назвал другими свойствами существа. Компании наращивают раба, а господином над ним сажают собственное желание продать этот ум вместо работника. Ум, выращенный на продажу, служит аффекту продавца, и у нас нет ни одного основания думать, что, обогнав продавца, он вдруг полюбит людей, которых им заменили.

В первой главе «Войны миров» Уэллс описал, как «через бездну пространства» на Землю смотрели «существа с высокоразвитым, холодным, бесчувственным интеллектом», пока люди «с бесконечным самодовольством» сновали по земному шару, «занятые своими делишками». Бегущая строка под Хинтоном пересказывала эту картину почти дословно, ведь пока он говорил о соседях умнее нас, внизу считали бюллетени и цены на топливо. У Уэллса чужой ум прилетел с Марса, наш выращивают в дата-центрах на нашей же земле и на наши деньги, поэтому Хинтон и говорит о том, что планету придётся делить.

Лучший исход, на который надеется Хинтон, Стругацкие проверили в «Трудно быть богом», где землянин из коммунистического будущего живёт в средневековом Арканаре под именем дона Руматы и знает о мире неизмеримо больше местных мудрецов. Однажды ночью он просит лекаря Будаха представить, что тот даёт советы всемогущему, и Будах просит для людей хлеба, мяса и вина, потом кары для жестоких, потом всего сразу и даром. Румата отвечает за бога, что сильные отберут хлеб у слабых, а получив всё даром, люди «забудут труд, потеряют вкус к жизни и обратятся в моих домашних животных, которых я вынужден буду впредь кормить и одевать вечно». Тогда Будах просит, чтобы люди больше всего на свете любили труд и знание. У землян для этого есть гипноизлучатели на спутниках, но Румата спрашивает, не будет ли это тем же самым, что стереть человечество с лица земли и создать на его месте новое. Будах долго молчит и наконец говорит: «Тогда, господи, сотри нас с лица земли и создай заново более совершенными… или, еще лучше, оставь нас и дай нам идти своей дорогой». Ответ Руматы занимает две фразы: «Сердце мое полно жалости. Я не могу этого сделать». Компании, которые продают ум вместо работников, ведут нас прямо ко второму ответу Руматы, к людям, получающим всё без труда из чужих рук. А существо, которое любит нас больше себя и о котором мечтает Хинтон, скорее всего, ответит нам последней репликой Руматы и из жалости не отпустит нас идти своей дорогой.

Хинтон сравнивает риск с самолётом, на который никто не сел бы по своей воле, но билетов нам никто не продавал, мы давно на борту, и спорить остаётся разве что о том, с кем нам придётся делить планету. Напишите в комментариях, кого из двоих вы выбрали бы в соседи по планете, холодный ум Уэллса, которому до нас нет дела, или любящего Румату, который никогда не оставит нас в покое. Только прежде чем выбрать второго, вспомните Киру, которая слушала тот ночной разговор и смотрела на Румату «с ужасом и надеждой». Через несколько глав она посмотрит на него так же в последний раз, за минуту до арбалетной стрелы, а потом любящий бог пройдёт через Арканар так, что друг детства только и сможет сказать о нём, что «видно было, где он шел».

🔴 Больше Хроник Конца Времён — @Secretariatus