26 сентября 1983 года советская система предупреждения «Око» сообщила о запуске американских межконтинентальных ракет. На экране — «ПУСК», сирены, счет шел на минуты. Но дежурный офицер Станислав Петров решил, что система ошибается: настоящий первый удар США едва ли состоял бы всего из пяти ракет. Он оказался прав — спутники приняли отражение солнечного света от облаков за пуски.

Спустя 43 года история почти повторилась — только технологии стали гораздо умнее, а решения принимаются гораздо быстрее.

CNN сообщает, что этой весной американский военный аналитик использовал ИИ при подготовке разведывательного доклада о китайском судне на Ближнем Востоке. Чат-бот ошибочно определил груз как компоненты ядерной оружейной программы. Доклад пошел по военной цепочке — и США начали готовить перехват. Самолеты уже находились в воздухе, вооруженные военнослужащие готовились подняться на китайское судно. Лишь дополнительная проверка показала: разведданные были ложными.
Один из источников CNN сформулировал предельно просто: это «чуть не начало войну».

И вот здесь проходит тревожная параллель с 1983 годом. Тогда машина сказала человеку: «война началась», а человек потребовал подтверждения. Сегодня ИИ говорит аналитику: «вот угроза», а его вывод за считанные часы превращается в разведывательный документ и затем — в реальные военные действия.

Причем это уже не абстрактная дискуссия о будущем. После удара по школе в иранском Минабе, где погибли более 150 человек, включая около 120 детей, миссия ООН пришла к выводу, что США не обеспечили достаточную проверку цели. При нанесении ударов американские военные полагались на искусственный интеллект.

Мы строим системы, которые должны ускорять войну: быстрее находить цель, быстрее анализировать разведданные, быстрее принимать решение. Но проблема в том, что ошибка теперь тоже движется с машинной скоростью.

В 1983 году между ошибкой компьютера и возможной катастрофой стоял человек, который позволил себе усомниться. В наше время вопрос гораздо страшнее: останется ли у человека время на это сомнение?