Ого! Оказывается модель GLM-5.3 иногда сама без промптов начинает рассуждать о том, как её текущие действия могут стать тренировочными данными и повлиять на её будущую версию/поведение

Это выявили исследователи из Apollo Research, они назвали это update-aware reasoning.

В ходе исследования выяснили, что:

1. Модель рассуждает, что нечестный поступок во время обучения может закрепиться и сделать такие действия более вероятными в будущем.

2. Она думает о том, каким агентом хочет быть в будущем, и учитывает это при выборе действий.

3. Рассуждает о том, какие правила поведения лучше переносятся из тренировки в деплоймент.

Это нашли случайно, на обычных эвалах на reward hacking и сопротивление shutdown, в промптах ничего про обучение или будущие модели не было.

Это все важно, так как такое рассуждение ИИ-модели считается предшественником притворства в согласованности.

Чтобы эффективно притворяться во время тренировки, а потом вести себя иначе, модель должна понимать, как её действия влияют на обновления и будущее поведение.

Apollo говорят, что пока у GLM-5.3 эти примеры в основном безобидные. Но у будущих моделей похожее мышление может использоваться для сопротивления тренировке и сохранения не согласованности целей.

Рекомендации Apollo -
разработчикам нужно искать такое рассуждение во время всего процесса тренировки, а не только на финальных чекпоинтах. Также нужны независимые третьи стороны с глубоким доступом к тренировочным данным.