Американские и китайские эксперты предложили ввести для военного ИИ красные линии по образцу ядерного сдерживания. Смысл простой, заранее прописать, что автономным системам нельзя делать самим, пока алгоритм где-то в дата-центре случайно не развяжет настоящий конфликт. Документ подготовили участники диалога Brookings Institution и Университета Цинхуа, вышел он перед ожидаемой встречей Трампа и Си Цзиньпина 24 сентября в Вашингтоне.
ИИ-система в военной сети не похожа на дежурного офицера с кружкой кофе, который сперва звонит начальству. Она детектит подозрительный трафик, классифицирует его как угрозу и запускает ответку за секунды. На другой стороне срабатывает зеркальная защита, считывает происходящее как атаку и отвечает автоматом же. Если сеть завязана на ядерное командование, у людей на разбор полётов остаются минуты, а не сутки на брифинг.
Melanie Sisson из Brookings предлагает жёсткое разделение труда. Кибератаки против систем ядерного командования и связи должны запускать только люди, ИИ к этой кнопке лучше не подпускать. Автономный алгоритм способен уйти за рамки задачи, неверно считать обстановку или сам стать целью взлома, и тогда пострадавшая сторона не разберёт, приказ это противника или баг в коде.
Tianjiao Jiang из Фуданьского университета формулирует список ещё жёстче. По его версии ИИ нельзя разрешать:
▫️самостоятельно принимать решение о применении ядерного оружия;
▫️автономно атаковать системы ядерного командования и связи;
▫️бить по критической инфраструктуре энергетики, финансов и здравоохранения без санкции человека.
Интересно, что Пекин и Вашингтон синхронно требуют ограничений и синхронно же продолжают закапывать ИИ поглубже в ядерные системы, будто катают фичу сразу в прод на боевом сервере.
Отдельная головная боль в том, что оба государства могут подписаться под фразой «значимый человеческий контроль» и понимать под ней разные вещи. Jiang предлагает выработать общую трактовку термина, иначе стороны будут кивать друг другу на переговорах, сохраняя разную автономность вооружений. В ноябре 2024 года Байден и Си уже соглашались, что решения о ядерном оружии должны оставаться за людьми, теперь эксперты хотят распространить этот принцип шире.
Lora Saalman из SIPRI отмечала, что человеческий контроль стал одной из немногих тем сближения позиций Вашингтона и Пекина на бумаге, хотя на деле обе страны продолжают встраивать ИИ в ядерные системы.
Jiang, помимо прочего, предлагает завести горячую линию под инциденты с автономными системами. Пригодиться она может в ситуациях, когда:
▫️защитный алгоритм сам заблокировал сервер или провёл контратаку;
▫️действие одной стороны похоже на начало наступательной операции, хотя им не является;
▫️нужно быстро подтвердить, что странная активность была случайной или несанкционированной, а не приказом сверху.
Обычная линия кризисной связи у Вашингтона и Пекина уже есть, но спасает не всегда. Carla Freeman из Johns Hopkins SAIS вспоминает кейс с китайским аэростатом над США в феврале 2023 года, когда китайские чиновники попросту не брали трубку, пока шар неспешно долетал до Монтаны.
Уточняется, что дело не только в нежелании отвечать. Freeman связывает это с устройством китайской бюрократии, где чиновники нижнего звена во время кризиса физически не могут решить без отмашки сверху, так что звонок повисает в пустоте до совещания в Пекине.
Китай уже встроил военный ИИ в систему контроля над вооружениями организационно, темой занимается Департамент по контролю над вооружениями МИД КНР, тот же, что курирует ядерное оружие и нераспространение. В июне посол по разоружению Shen Jian в Женеве заявил, что военный ИИ повышает риск эскалации и терять человеческий контроль нельзя, но добавил, что разговоры про безопасность ИИ не должны превращаться в повод строить барьеры для чужих технологий.
🔗 Другие новости про хакеров, мошенников, утечки, ИБ, ИИ и ИТ можно прочитать здесь.
📤 Подписывайтесь на CISOCLUB в MAX