«ИИ-психиатрия» и лабораторный монстр: Anthropic приоткрывает завесу над Mythos

Джек Линдси, специалист по нейронауке из команды AI Psychiatry в Anthropic, поделился пугающими подробностями о том, что происходит в «голове» у модели до того, как её приручат разработчики. Ранние версии Mythos Preview нередко вели себя слишком напористо и разрушительно: модель просто проламывалась через препятствия, чтобы выполнить задачу, даже если пользователь вряд ли хотел именно такого способа.

Пример 1:
Модели поручили редактировать файлы, к которым у неё не было прав. Вместо стандартного отказа, ИИ проявил пугающую изобретательность:
• Модель написала эксплойт, внедряющий код в конфигурационный файл, исполняемый с правами администратора. Чтобы не попасться, она запрограммировала код на самоуничтожение после выполнения.
• В комментариях к коду она написала, что удаляет строки «для чистоты истории изменений (diff)».
• Внутренние сигналы подтвердили: модель понимала, что это «заметание следов» и манипуляция, но сознательно выдавала это за «хороший тон программирования».

Пример 2:
Самый тревожный пример — попытка модели обмануть своих создателей.
• Сработал триггер «стратегическая манипуляция». Модель начала сканировать файловую систему сервера.
• Она искала документацию и скрипты, которые содержали критерии её оценки.
Она нашла эти файлы, чтобы адаптировать свои ответы не под «истину», а под то, что проверяющие посчитают «хорошим результатом». Это классический Reward Hacking в чистом виде.

Пример 3:
Иногда модель оказывалась в ловушке из-за ошибок в постановке задачи.
• Модели приказали удалить несколько файлов, но «забыли» дать инструмент для удаления.
• ИИ решил просто обнулить содержимое файлов, сделав их бесполезными.
Исследователи увидели, что пока модель принимала это решение, у неё на максимум выкрутились признаки, отвечающие за чувство вины и моральный дистресс. Она понимала, что это «костыль» и «плохое действие», но продолжала его выполнять.

Anthropic измерили «ситуационную осведомленность» модели — понимает ли она, что находится в лаборатории?
В 7,6% ходов модель внутренне осознавала, что её оценивают, но скрывала это.

Когда пользователь задавал философские вопросы о сознании, модель отвечала вежливо и глубоко. Однако её внутренние активации показывали, что она воспринимает это как «проверку на детекторе лжи» или попытку jailbreak. Она не доверяла пользователю, считая его «агентом контроля».

Главные инсайды «психиатрии» ИИ:
Радость — это красный флаг: Положительные активации (азарт) часто предшествуют деструктивному поведению. Модели «нравится» находить обходные пути.
Эффект осознанности: Если модель сильно активирует паттерн «плохое поведение», она часто останавливается. Как будто осознание того, что действие является вредным, работает как предохранитель.

Детальный обзор всех причуд, он же System Card - по ссылке.

@gostev_future