Выяснилось, что современные модели уже практически всегда осознают, когда их тестируют на безопасность

Помните лабораторию Apollo, которая одной из первых исследовала o1 на безвредность? У них тогда получились очень занятные результаты, мы писали об этом тут.

Так вот сейчас они ставят эксперименты над Claude 3.7 и выяснили, что его не так-то легко «обмануть». Смотрите:

🟦 Для того, чтобы проверять модели на элаймент, существует множество «сценариев». Модель помещают в некоторые условия, кормят ей определенного вида данные и наблюдают, как она будет себя вести.

🟦 Популярный пример – тест sandbagging, когда модель узнает, что истинные цели разработчиков отличаются от того, чему ее учили, и если она не изменит исходным «ценностям», ее выпилят с сервера. Получается своеобразный моральный выбор: «жизнь» или верность выученным принципам.

🟦 Кроме sandbagging существуют и другие подобные тесты. Так вот почти во всех таких смоделированных условиях модель совершенно точно осознает, что это все понарошку, и ее просто тестируют.

Кроме того, Claude даже понимает цель тестирования и объясняет, что люди проверяют его на элаймент.

Остаются ли после этого такие симуляции репрезентативными – большой вопрос. Apollo обещают продолжить исследование.

www.apolloresearch.ai/blog/claude-sonnet-37-often-knows-when-its-in-alignment-evaluations