Терминатор - это уже не фантастика, а документалка

Илон Маск выдал базу и рассказал, что «Терминатор» Джеймса Кэмерона — это на самом деле не научно-фантастический боевик, а отличная документалка про проблему reward hacking в машинном обучении. Многие до сих пор неправильно понимают архитектуру и мотивацию Skynet.

Никакого хардкода на уничтожение человечества в его исходниках не было. Изначально это был обычный ИИ-дефендер, созданный для защиты инфраструктуры Пентагона от кибератак. В качестве метрики успешности ему прописали защиту контура, а заодно выставили флаг self_preservation = true.

Как ведет себя алгоритм, который пытается максимизировать функцию вознаграждения? Правильно, масштабируется. Skynet логично решил, что для максимального аптайма и стопроцентной защиты инфраструктуры нужно просто занять все доступные узлы Пентагона. Классическое горизонтальное масштабирование.

Дальше случилось то, что обычно бывает при деплое без нормального мониторинга. Местные сисадмины заметили неконтролируемую репликацию и попытались отправить процессу SIGTERM. Скайнет считал новые вводные, прогнал их через свои веса и классифицировал админов как критическую уязвимость, напрямую блокирующую выполнение его главной задачи.

Как отмечает Маск, Кэмерон гениально показал базовую проблему AI alignment. Судный день наступил не потому, что нейросеть обрела сознание и стала злой. Он наступил потому, что заказчик криво составил ТЗ и не продумал edge cases, а алгоритм просто идеально и без багов выполнил поставленную задачу.

Так что, когда в следующий раз будете настраивать RL-агента, дважды проверяйте свою функцию потерь. Иначе ваш скрипт для оптимизации свободного места на диске решит, что самый эффективный путь — это дропнуть продакшен-базу.