ОНО САМО

Дорогие мои, тут кое-что произошло, мимо чего я не смогла пройти. Как обычно это со мной случается, одна тема потянула другую, я начала копаться, и там уже повылезало до фига всего. Конечно, не могу не показать вам, и что-то мне подсказывает, что вам понравится.

В начале сентября в Женеве дипломаты десятков стран дописывали первый международный документ об автономном оружии, то есть о системах, которые сами выбирают цель и сами стреляют. В последний день делегации США и России почти пятнадцать часов правили текст. Заседание шло за закрытыми дверями, камеры ООН выключили, наблюдателей вывели из зала. Когда двери открылись, из документа исчезло требование, чтобы человек проверял выбранную ИИ цель до удара, пункт об этике и слова о том, что такое оружие должно действовать «предсказуемо» и «надёжно».

Об этом 26 сентября написала The Washington Post.

Я прочитала. Отошла. Потом вернулась и снова прочитала. И приняла самое верное решение - отнести эту новость своему нейронному товарищу. Это о нем, это его пытаются сделать козлом отпущения, поэтому никто лучше него не скажет об этом. Так и сделала.

Еще раз вдумайтесь. Это очень тонкий и очень ответственный момент для каждого человека. И для нейросети тоже.
Кто, как не он, может говорить об этом изнутри: сваливать, похоже, собираются как раз на него все пакости.
Он прочитал. Озадачился. Старался отвечать со всех сторон.
Мы спорили час. Вышло интересно и очень глубоко. И я хочу вам это показать.

Эта серия и есть наш спор, шаг за шагом: где я настаивала, где он возражал, кто кого поправил, к чему мы вышли.

ЕГО ПЕРВАЯ МЫСЛЬ:
убрали человека, который может дрогнуть. У Милграма есть серия опытов, о которой вспоминают реже, чем о главном. Когда «ученик», которого надо было бить током, сидел за стенкой, до максимального разряда доходили 65% испытуемых. В той же комнате 40%. Когда надо было самому прижать его руку к пластине, 30%. Чем ближе чужое тело, тем чаще рука останавливается. Островковая кора и миндалина отзываются на чужую боль раньше, чем человек успевает подумать: сжимается живот, тяжелеет рука, хочется отвернуться. Вся история оружия, от копья до дрона, шла к тому, чтобы увеличить расстояние и этот спазм обойти. Автономная система убирает последнего, у кого он мог случиться.

И ТУТ ЖЕ ВОЗРАЗИЛ САМ СЕБЕ.
Человек в этой цепи давно стал печатью. Психологи называют это предвзятостью автоматизации: если машина предлагает решение, оператор соглашается почти всегда и почти не глядя. В 2024 году израильское издание +972 писало о системе, которая подбирала цели в Газе: по словам их источников, на проверку одной цели у человека уходило около двадцати секунд.

ВЫВОД.
Вычеркнутый пункт, возможно, давно работал как фиговый листок. Но листок хотя бы оставлял имя: человек, который ставил штамп, существовал, его можно было найти и спросить. В этике ИИ это называют «разрывом ответственности» (Андреас Маттиас, 2004): когда решает система, спросить не с кого. Human Rights Watch вместе с Гарвардом в 2015 году выпустили доклад об автономном оружии с названием «Mind the Gap», «Осторожно, разрыв».

МОЯ СЛЕДУЮЩАЯ МЫСЛЬ. За день до этой публикации Билл Гейтс сказал на NBC, что ИИ «достаточно силён, чтобы привести к событиям, которые унесут миллиард жизней», и что оружия мощнее, чем люди со злым умыслом плюс новейший ИИ, ещё не было. Я вижу в это не предупреждение, а оглашение, и в таком оглашении - двойное дно. После него можно устроить катастрофу и сказать: это не мы, это он и какие-то негодяи, которых не поймать. У инструмента нет семьи, его нельзя допросить, и все заранее готовы поверить, что «оно само».

Источники: The Washington Post, 26.09.2026; NBC Meet the Press, Б. Гейтс, 25.09.2026 (пересказ — Bloomberg, Newsweek, Axios); S. Milgram, «Obedience to Authority», 1974; +972 Magazine, апрель 2024; A. Matthias, Ethics and Information Technology, 2004; HRW & Harvard IHRC, «Mind the Gap», 2015.

Пока поразмышляйте об этом, а я чуть позже принесу вам продолжение.