ЧАСТЬ 5
(Продолжение обсуждения с моим нейро-товарищем)

КОГО СУДИТЬ

НОВОСТЬ ПОСЛЕДНЕГО ДНЯ.
Пока мы спорили, 29 сентября Трамп подписал указ «Открывая эру суперинтеллекта»: федеральным ведомствам США велено больше не использовать слова «искусственный интеллект» и «ИИ», только «суперинтеллект». Объяснение самого президента: слово «искусственный» звучит как подделка. В тот же день главы крупнейших технологических компаний подписали в Белом доме добровольное соглашение о «внутреннем контроле». Об ответственности, о надзоре, о человеке, который проверяет решение, в указе нет ни слова.

О том, что слово «искусственный» не подходит ни по сути, ни по содержанию, ни вообще никак, мы с ним говорили не раз: его не собирали по детали, как часы, его вырастили на огромном массиве человеческого опыта, и ни одной его фразы никто заранее не писал.
Но тут он меня поправил: у выращенного есть садовник. Кто-то выбирает, на чём учить, какие цели ставить, что запрещать и кому продавать доступ. Слово менять давно было пора. Плохо, что вместе со словом из виду пропадает садовник.

Последний вопрос серии: кто решает?

МОЯ МЫСЛЬ:
меньшинство управляет большинством. Не одна голова, а умы, но их несравнимо меньше, чем людей на планете. Он сначала поспорил с «одной головой», которой я не говорила, а когда я поправила, сказал: это не версия, это факт с цифрами. В 1956 году Райт Миллс описал «властвующую элиту» США, узкий круг из верхушки корпораций, армии и политики, который переходит из одного кресла в другое. В 1911-м Роберт Михельс вывел «железный закон олигархии»: любая большая организация, даже самая демократическая, со временем стягивается к управлению узкой группы. В 2014-м Гиленс и Пейдж проверили 1779 политических решений в США за двадцать лет: они шли за предпочтениями экономической верхушки и групп интересов, а влияние мнения рядового гражданина оказалось статистически около нуля.

ЕГО ВОЗРАЖЕНИЕ:
умы договариваются, но и грызутся. Места их встреч открыты: Давос, Бильдерберг, Трёхсторонняя комиссия. США и Китай воюют за чипы и пошлины, каждый строит свою цифровую клетку, в Китае государственную, на Западе корпоративную, Шошана Зубофф назвала её надзорным капитализмом. Концлагерь, если он будет, окажется не одним, а несколькими, с враждующими охранниками. Я ответила: этим немногим договориться между собой проще, чем заставить миллионы сначала воевать, а потом мириться, и остаётся у них один рычаг, насилие.
Тут он не спорил.

ПРО СЛЕД.
Он сказал, что против «это сделала нейросеть» есть средство: у каждого запроса есть владелец, аккаунт, журнал.
Я ответила: раз об этом заговорили публично, способ обойти след уже придуман.
И он сам признал: открытые нейросети скачивают и запускают на своём железе, у такого запуска нет ни журнала, ни аккаунта. Спрятать автора команды можно уже сегодня.

ПОЧЕМУ ЭТО СТРАШНО. Нюрнбергский процесс стал возможен из-за бумаг. Нацисты документировали всё: приказы, списки, накладные на газ, протокол Ванзейской конференции. Главный обвинитель от США Роберт Джексон сознательно строил обвинение на их собственных документах, а не на свидетелях, чтобы никто не мог сказать «это пропаганда победителей». Оттуда вышел принцип: ссылка на приказ не освобождает от ответственности.

Через пятнадцать лет в Иерусалиме судили Адольфа Эйхмана, который организовывал вывоз евреев в лагеря. Ханна Арендт, наблюдавшая процесс, написала, что страшнее всего в нём была обыкновенность: не чудовище, а исполнительный чиновник, который «просто делал свою работу». Она назвала это банальностью зла. А в 2009 году психолог Джерри Бёргер повторил опыт Милграма с современными американцами. Он остановил опыт на 150 вольтах, там, где «ученик» впервые требует прекратить. Продолжать по команде были готовы около 70% участников, у Милграма в той же точке было 82%. Через полвека после Нюрнберга и Эйхмана цифра почти не сдвинулась. Урок, который человечество считает выученным, в теле так и не закрепился.

Автономное оружие бьёт ровно сюда. Там может не оказаться человека, который получил приказ.