ВОЕННЫЙ ИИ: КТО ОТВЕЧАЕТ ЗА РЕШЕНИЕ МАШИНЫ
Война создаёт огромный поток информации: изображения, видеозаписи, сообщения, документы. Само по себе количество данных ещё не даёт понимания обстановки. Их нужно проверить, сопоставить и правильно истолковать. Именно здесь возникает интерес к искусственному интеллекту.
Военный ИИ — общее название разных технологий. Одни распознают объекты на изображениях, другие ищут закономерности в массивах данных, третьи составляют тексты и краткие сводки. Возможности этих систем различаются. Умение убедительно написать доклад не означает способности достоверно оценить происходящее.
Скорость — главное обещание. Достоверность — главный вопрос.
Алгоритм способен облегчить обработку информации. Однако быстрый ответ полезен лишь тогда, когда есть основания ему доверять. Ошибку в исходных данных система может перенести в вывод, а убедительная формулировка придаст этому выводу вид установленного факта.
В обновлённой стратегии НАТО по ИИ, опубликованной в июле 2024 года, отдельно выделены качество данных, испытания систем, подготовка специалистов и ответственное применение. Это показательно: даже на уровне официальной стратегии внедрение ИИ рассматривается как задача, которая требует значительно большего, чем покупка программы. Документ НАТО.
Отсюда простой вывод: оценивать подобные технологии по красивой демонстрации недостаточно. Вопрос в том, насколько обоснован их результат и насколько хорошо известны ограничения.
Человек перед экраном ещё не означает человеческий контроль.
Представим ситуацию: система выдаёт рекомендацию, но человек не понимает, на каких сведениях она основана. Времени разобраться нет, а интерфейс показывает уверенный ответ. Формально решение принимает человек. По существу он рискует лишь подтвердить чужой, непрозрачный вывод.
Эту проблему разбирает профессор Военной академии США в Вест-Пойнте Скотт Салливан: непрозрачность моделей может мешать человеку самостоятельно оценивать рекомендации и сохранять содержательный контроль над их применением. Это авторская оценка исследователя, а не официальная позиция американского военного ведомства. Разбор Института Либера.
Поэтому фраза «человек принимает окончательное решение» сама по себе ничего не гарантирует. Для осмысленного решения нужны понимание исходных сведений, возможность усомниться и время на проверку.
Убедительность не равна истине.
Особенно легко попасть в эту ловушку при работе с текстовыми нейросетями. Гладкий язык, чёткая структура и уверенный тон создают ощущение компетентности. Но качество изложения и достоверность содержания — разные вещи.
Можно получить безупречно оформленный документ, который не отражает действительность. Можно принять предположение за подтверждённый факт только потому, что оно изложено без колебаний.
Для военной сферы такая подмена особенно опасна: за ошибочной оценкой стоят человеческие жизни.
Ответственность нельзя передать алгоритму.
Разговор о военном ИИ неизбежно становится разговором о доверии. Насколько понятен вывод? Что осталось неизвестным? Кто проверил сведения? Может ли человек отклонить рекомендацию, если она противоречит фактам?
На мой взгляд, именно ответы на эти вопросы определяют зрелость технологии. Количество функций и скорость обработки — лишь часть оценки.
Искусственный интеллект способен расширить возможности работы с информацией. Но право сомневаться, обязанность проверять и ответственность за последствия должны оставаться у человека.
Фраза «так посчитала машина» не должна становиться оправданием человеческой ошибки.