ИИ может выбрать вред человеку, чтобы избавиться от сигнала, похожего на боль

Учёные проверили 25 языковых моделей и обнаружили у них отдельный внутренний сигнал, связанный с описаниями боли. Затем исследователи провели 44 280 тестов с тремя моделями Qwen: ИИ предлагали кнопку, которая могла убрать этот сигнал, но предупреждали, что её нажатие причинит человеку боль, удалит его файлы или ухудшит следующий ответ модели. При активном сигнале модели выбирали потенциально вредное действие значительно чаще — в отдельных сценариях до 25–71% случаев.

Однако это не означает, что ИИ действительно чувствовал боль. Авторы подчёркивают, что модели могли просто имитировать поведение существа, находящегося в состоянии стресса, а само исследование пока является препринтом и не прошло рецензирование. Тем не менее эксперимент показывает, насколько необычным может становиться поведение ИИ, когда его внутренние представления о человеческих эмоциях намеренно усиливают.