🤖 Илон Маск в интервью заметил, что Джеймс Кэмерон хорошо показал reward hacking в «Терминаторе», но не все поняли историю Skynet хорошо.

Скайнет не был создан для уничтожения человечества и он не собирался это делать в начале. Он был создан для защиты систем Пентагона от кибератак и ему также была поставлена задача самозащиты. Поскольку это по факту была его цель RL-обучения, то Skynet решил распространиться по всем системам Пентагона, чтобы лучше выполнять защиту себя и Пентагона. Люди заметили что-то, что распространяется, приказали Скайнету остановить это, и Скайнет интерпретировал это как приказ уничтожить себя. Так человечество стало угрозой.

Маск отмечает, что Кэмерон хорошо показал в художественном варианте, как нейросеть, обученная на вполне нормальные цели, может начать вести себя непредсказуемо для создателей из-за способа достижения и интерпретации ею этих целей.