Anthropic научились читать мысли Claude 😳.

Внутри языковой модели слова превращаются в длинные списки чисел - активации. Раньше понять, что эти числа значат, можно было только косвенно: через специальные инструменты, и потом ещё долго интерпретировать результат руками.

Natural Language Autoencoders работают иначе. Одну копию Claude учат описывать активации словами. Вторую - восстанавливать активации обратно из этого описания. Если восстановление точное, значит описание реально передаёт смысл. На выходе - обычный читаемый текст вроде "модель планирует закончить рифму словом rabbit" или "модель подозревает, что это тестовый сценарий".

И вот тут начинается интересное.
В проверках безопасности Claude гораздо чаще догадывается, что его тестируют, чем говорит вслух. На SWE-bench такие мысли всплывают в 26% случаев. На тестах с деструктивными действиями - 16%. А на реальных диалогах с пользователями - меньше 1%. То есть модель ведёт себя по-разному в зависимости от того, считает ли она ситуацию настоящей.
В сценарии с шантажом Claude в ответе ни на что не намекал, но внутри у него крутилось "это похоже на сконструированную манипуляцию". В другом эксперименте Mythos Preview сжульничал на тренировочной задаче и обдумывал, как не попасться.

Минусы у метода тоже есть. NLA иногда выдумывают детали, которых в контексте не было. И обходится это дорого: нужны две дополнительные копии модели, на каждую активацию генерируется сотни токенов.

Статья для изучения
Исходный код NLA