Нейросетям сегодня доверяют все больше и больше разнообразных задач, но иногда уровень доверия доходит до абсурда. Ходили слухи, что Штаты в свое время очень сильно поверили иишной аналитике, тем самым ошибшись с перспективами войны с Ираном. Но слухи слухами, а вот и подтвержденная информация об ошибке в оценке:

По сообщению CNN, военные получили разведывательный отчёт: китайское судно на Ближнем Востоке якобы перевозило компоненты для ядерной оружейной программы.

Началась подготовка операции. Как прозвучало в эфире телеканала, самолёты уже находились в воздухе, а военнослужащие готовились подняться на борт судна.

Но перед операцией отчёт проверили глубже. Выяснилось, что его подготовили с помощью ИИ, который неверно определил груз. Перехват отменили.

Один из источников CNN описал произошедшее словами «чуть не начали войну». Насколько близко ситуация действительно подошла к конфликту с Китаем, по доступной информации судить нельзя. Но сама история с подготовкой операции на основании ошибочного отчёта уже достаточно серьёзная.

Самое неприятное здесь — путь ошибки. Ответ нейросети попадает в официальный документ, документ становится основанием для решения, а дальше люди начинают действовать. На каждом следующем этапе исходное предположение выглядит всё солиднее.

Для бизнеса механизм вполне узнаваемый. Сотрудник просит ИИ подготовить справку, руководитель получает аккуратный документ, команда берёт его в работу. Проверил ли кто-нибудь исходные факты — отдельный вопрос.

Я за использование нейросетей в работе. Но чем серьёзнее решение, тем важнее понимать, откуда взялось каждое утверждение, на котором оно основано.

Оформить ошибку как доклад теперь можно за секунды. От этого она не становится разведданными.