Продолжая тему про представление, которое находят нейросети:

The Emergent Symbolic Structure of Artificial Neural Networks

Все помнят, что эмбеддинги обладают линейной структурой, king - man + woman = queen и все такое.

Tensor Product Representations, который использовали в этой работе – конкретный способ кодировать богатую символьную структуру в векторном пространстве. Что статья делает: обучает TPR-модель, используя остроумно выбранные представления существующей модели (Gemma 3, GPT-OSS, ...) как референс. Таким образом получается интерпретируемое символьное представление. С которым можно работать – символьно манипулировать! И если в существующих нейронках заменить весь процесс создания представления на сконструированный TPR – поведение сети практически не меняется. Что указывает на использование моделями символьного представления, близкого TPR, внутри.

Очень важная работа с точки зрения понимания механизмов работы LLM, и в каком-то смысле большая победа "символьного" подхода к AI. И просто хорошо написанная статья.

– @pgregory