Страшна не бездушная сверхмашина, которая сама, без человека, решает, кого убить – холодно, мгновенно и без сантиментов. Куда страшнее может оказаться вещь гораздо более человеческая и нам привычная: организационная тупость, бюрократическая инерция и рутинная слепота больших систем принятия решений.
Проф. Джон Линдсей, один из самых известных специалистов по кибербезопасности и ИИ в военных операциях, напомнил историю, от которой и сегодня мороз по коже.
В ходе войны в Косово в 1999 году бомбы, наводимые со спутника и выпущенные с бомбардировщика B-2, попали в посольство Китая в Белграде. Не потому, что система наведения или бомбы “сошли с ума”. И не потому, что кто-то хотел войны с Китаем. А потому, что в базе данных цель жила как Belgrade Warehouse 1 – то есть как совсем другой объект. Ошибка прошла проверки. Была подтверждена. Упакована в слайды. Доложена наверх. И точно реализована.
Прошло 27 лет. В разгаре «эпоха ChatGPT». Вовсю идут разговоры о Maven, Palantir, ИИ-поддержке целеуказания, машинной аналитике и войне на скоростях, недоступных человеку. И что мы видим?
Удар по иранской школе в городе Минаб, в результате которого погибли 175 человек, большинство из них – маленькие девочки. По реконструкции Линдсея, произошёл тот же старый кошмар: школа, вероятно, попала в список целей как часть военного объекта из-за давней ошибки идентификации, инерции базы и спешки людей при работе по тысячам целей.
Вот что по-настоящему малоизвестное-интересное. И по-настоящему страшное.
Мы боимся, что людей будет убивать сверхумный военный ИИ. А убивает, как и десятки лет назад, совсем иное: не автономные машины, а неистребимая тупость и инерция бюрократических процессов и организаций.
Так что мой вывод о рисках военного ИИ теперь еще более неприятный, чем 5 лет назад.
Будущее войны может оказаться не машинно-бесчеловечным, а бюрократически-бесчеловечным.
#Война #ИИ