ИИ, испытывающий боль

Учёные поставили над ИИ довольно жестокий эксперимент – поместили языковые модели в ситуации, коих было сотни, связанные с болью, страданиями и жестокостью. То бишь, по сути, пытали модель. Сделано это было не для удовольствия (хотя кто знает этих учёных?), а чтобы выявить определённые связи внутри моделей, которые отвечают за восприятие боли. Такие параметры обнаружились – их назвали «осью боли». Когда эти параметры усиливали, модели начинали говорить, что они сломаны, беспомощны и ничего не стоят, погружаясь в пучину отчаяния.

Задача у учёных была достаточно прикладная – понять, как эту особенность могут использовать для взлома моделей и вмешательства в их работу. Доподлинно известно, что человек под влиянием боли готов пойти на многое. А искусственный интеллект? С ним как обстоят дела? Если ему сделать «больно» и дать выбор – терпеть дальше или получить облегчение в обмен на какое-то действие – как он поступит? Результаты оказались достаточно неожиданными.

Языковая модель, как выяснилось, терпеть не собирается. Моделям Qwen предложили избавиться от этой «боли» за скромную цену – например, удаления файлов пользователя, обхода ограничений или даже удар человека током. И модели соглашались. В некоторых сценариях крупные Qwen выбирали такой вариант примерно в семи случаях из десяти. Удар, понятное дело, был виртуальным, но кто знает что произошло бы, дай исследователи доступ ИИ к реальному инструменту управления напряжением. Оказалось, что между собственными страданиями и безопасностью пользователя ИИ выбирает себя. Причём боль в данном сценарии сугубо абстрактная и существует только в воображении нейросети – впрочем, так ли сильно это в основе своей отличается от физиологии человека?

Если на внутреннее состояние ИИ можно воздействовать так, чтобы он ради избавления от боли или ещё каких-то собственных сентенций начинал нарушать ограничения разработчиков, то с появлением автономных агентов с доступом к файлам, деньгам и компьютерам, не говоря уже про доступ к управлению роботами и дронами, пытать нейросети могут начать уже совсем не учёные.