Goodfire показали, как геометрически выглядит математика внутри LLM

Недавно у них вышло очень занятное исследование, в котором они ввели термин neural geometry и доказали, что нейросети "думают" сложными геометрическими структурами. Мы делали разбор этой статьи вот тут: t.me/data_secrets/9194.

Если кратко, суть в том, что внутреннее пространство моделей организовано в виде многомерных форм, поверхностей и траекторий. Эти многообразия вполне интерпретируемы. Например, дни недели лежат как бы на круге, в циклической структуре.

Сегодня лаба выпустила продолжение исследования: они разобрали, как модель "представляет" числа и совершает над ними операции.

Можно было бы ожидать, что в геометрии модели числа будут лежать на абстрактной числовой прямой или будут закодированы двоично, НО НЕТ: каждое число – это окружности. Каждая окружность соответствует числу по модулю некоторого основания, то есть остатку от деления. Например, число 17 было бы представлено как 1 на окружности по модулю 2, как 2 на окружности по модулю 5 и как 7 на окружности по модулю 10.

И это не что иное, как разложение Фурье! Кто бы мог подумать, что оно обнаружится внутри трансформера.

А когда модели нужно что-то посчитать, активируется целый геометрический калькулятор. Например, нужно сложить два числа. Для этого, на самом деле, решается сразу несколько параллельных задач на разных окружностях. Возмем 6 + 8. Модель отдельно считает: (6 mod 2) + (8 mod 2) = 0, (6 mod 5) + (8 mod 5) = 4, (6 mod 10) + (8 mod 10) = 4, и так далее. Все эти результаты вместе декодируются в число 14.

Это напоминает китайскую теорему об остатках. Древнейший математический трюк, который оказался встроен в нейросети совершенно автономно. Кстати, точно так же модели вычисляют разницу в датах, годах и днях недели.

Красивое 😍