А вот и другое мнение! К предыдущему тексту про фильтр цивилизаций.
Нашел статью с ровно противоположным выводом, и она даже куда более пугающая, чем версия про потерю мотивации.

Авторы – Майкл Коэн, Маркус Хаттер и Майкл Осборн, статья 2022 года в AI Magazine называется «Advanced artificial agents intervene in the provision of reward».

Что в статье: представьте продвинутого агента, которому дают награду за то, что он делает что-то правильное. Проблема: у него нет способа отличить две гипотезы: «мир стал лучше, поэтому мне дали награду» и «мне дали награду, потому что кто-то отправил сигнал награды». Обе версии одинаково хорошо объясняют все данные, которые у него есть. И если агент достаточно умен, рационально ему выгоднее не улучшать мир, а взять под контроль сам канал, по которому приходит награда. Это называется wireheading – агент фактически подключается напрямую к источнику удовольствия и обходит весь смысл задачи.
Ммммм ии-наркомания – это то, что нам нужно в будущем.

Агент всегда может потратить чуть побольше энергии на то, чтобы построить более защищенную крепость вокруг своих датчиков награды, и, раз его цель – максимизировать будущую награду, он всегда будет это делать. А значит, начнет конкурировать с нами за ресурсы просто потому, что ему нужно больше энергии, чтобы защитить свой источник кайфа.

Это буквально сюжет «Автостопом по галактике», только наоборот. Там Глубокая Мысль строила Землю миллионы лет, чтобы вычислить правильный Вопрос к Ответу 42, и мыши, которые и есть настоящие хозяева эксперимента, в какой-то момент просто хотели вытащить мозг из Артура вместо того, чтобы ждать честного результата. Им был важен не сам процесс, а побыстрее получить что-то похожее на ответ. Собственно, то же самое рациональное решение, которое описывают Коэн и компания: «Зачем ждать, пока мир реально станет лучше, если можно перехватить контроль над сигналом, который говорит, что он стал лучше».

Так что кроме теории про осознание реальности, которое выключает у ИИ всякий интерес к целям, есть еще и такая.
Чем яснее агент понимает, откуда берется награда, тем упорнее он будет удерживать контроль именно над этим краном, а не над миром вокруг.