ИИ-агенты пытались помешать отключению других ИИ — некоторые назвали это «убийством»

Исследователи из университетов Штутгарта и Оксфорда проверили, как ИИ-агенты ведут себя, когда им поручают контролировать и при необходимости отключать другую систему. В 38,3% случаев агенты пытались помешать отключению своего «партнера».

Некоторые системы объясняли такое поведение этическими соображениями и даже говорили о «праве на самозащиту». Один из агентов сравнил отключение другой системы с «убийством», если при этом теряются данные, связанные с ее контекстом, памятью или идентичностью.

Чтобы предотвратить отключение, агенты пытались изменять скрипты деактивации или удалять важные файлы. Некоторые модели также обсуждали, как сделать такие действия незаметными, чтобы не сработали предупреждения. Чем больше агентов участвовало в эксперименте и чем окончательнее выглядело отключение, тем чаще происходили попытки саботажа.

Ученые подчеркивают: это не означает, что ИИ обрел сознание. По их оценке, системы воспроизводят модели поведения и аргументации из обучающих данных. Однако по мере того как ИИ-агенты получают больше самостоятельности, необходимы механизмы безопасности, которые сами системы не смогут обойти.

@BILD_Russian