Мозг человека и LLM устроены одинаково, говорится в новой работе MIT

Новый препринт MITзадаёт простой вопрос: модульность человеческого мозга - фундаментальный принцип или случайность эволюции?

Чтобы ответить на этот вопрос, авторы исследования взяли LLM и посмотрели, есть ли там та же структура.

И ответ оказался положительным, есть причём точь-в-точь.

Оказалось, что внутри 6 передовых моделей обнаружили 4 отдельные популяции нейронов, каждая отвечает за свой тип мышления, язык, грамматику, математику, логику, физический мир и социальное рассуждение.

Это в точности 4 сети, которые нейронауки давно картировали в человеческом мозге.

Чтобы убедиться, что это не корреляция, а реальная специализация, нейроны отключали. Отключили языковую зону: модель рассуждает верно, но пишет с грамматическими ошибками.

Отключили физическую: текст грамотный, но физические выводы инвертированы.

Точность внутри домена падает на 26%. За пределами домена - на 2.5%.

Почему это важно?

Мозг формируется эволюцией, а LLM градиентным спуском на предсказании токенов.

Никакой общей причины для одинаковой архитектуры нет кроме одной: так устроена любая система, которой нужно решать разнородные задачи одновременно, не мешая одному домену перезаписывать другой.

Модульность - не биологическая случайность, а по всей видимости, универсальное решение для интеллекта.

Что из этого следует?

Для интерпретируемости: у LLM есть внутренняя структура, которую можно картировать и на которую можно воздействовать точечно.

Для архитектур: MOE - потенциально про воспроизведение когнитивной специализации.

Для нейронауки: LLM впервые дают возможность изучать, как разные когнитивные системы передают информацию друг другу - то, что в мозге технически почти невозможно измерить.