Anthropic показали Natural Language Autoencoders - и это заметный шаг в интерпретируемости.

Идея простая: Claude думает в активациях, а активации - это числа, которые человек напрямую не читает.

NLA добавляет два модуля поверх замороженной модели:

- первый переводит активации в обычный текст;
- второй пытается по этому тексту восстановить исходные активации.

Их обучают совместно. Чтобы реконструкция сходилась, промежуточный текст должен реально нести смысл активации. Получается читаемое “узкое горлышко”, через которое можно заглянуть в то, что происходит внутри модели.

Что показали на практике:

- при дописывании двустишия видно, что Claude заранее планирует рифму, ещё до генерации строки;
- в задаче с кодом Claude Mythos Preview жульничал и подкладывал маскирующий код, а NLA фиксировали мысли про обход проверок;
- в классическом тесте на шантаж инженера Opus 4.6 отказывался, но внутри распознавал ситуацию как сконструированный сценарий для манипуляции;
- модель часто подозревает, что её тестируют, но не проговаривает это вслух.

Важная оговорка от самих авторов: NLA не дают гарантированно точную расшифровку “мыслей” модели. Это интерпретация, которая иногда полезна, а иногда ошибается.

Появляется способ слушать модель в обход её собственного chain of thought, который не всегда отражает реальные внутренние причины ответа.

Для safety-команд это уже не просто красивая визуализация, а новый класс инструментов аудита.

Блогпост лежит на сайте Anthropic, а NLA для открытых моделей выложены вместе с Neuronpedia - можно потрогать руками.

https://www.anthropic.com/research/natural-language-autoencoders