Sakana предложила новую архитектуру памяти: нейросеть сама решает, когда вспоминать, а когда думать

Sakana AI выпустила работу о новой рекуррентной архитектуре Continuous Memory Machine (CMM).

Sakana предлагает разделение памятей по ролям и то, как они взаимодействуют на:

- краткосрочную - история недавней активности нейронов. Она досталась CMM от прошлой разработки Sakana, Continuous Thought Machine. Там у каждого нейрона своя маленькая сеть, обрабатывающая его собственную историю, а «мыслью» модели считается синхронизация нейронов.

- долговременную - это отдельное хранилище, которое живёт на протяжении всей задачи.

И связующее звено - небольшой трансформер на каждом шаге позволяет двум памятям читать друг друга, писать друг в друга и перестраиваться. Модель может и проигнорировать их, если они не нужны.

На классических задачах на память CMM либо лучшая, либо на уровне специализированных архитектур.

В лабиринтах 39×39 средняя доля полностью решённых выросла с 37% до 62%, а внимание модели прочерчивает путь, так что за её рассуждением можно следить.

Самое интересное - авторы посмотрели, куда модель направляет внимание, и увидели, что она сама выбирает стратегию. В задачах на запоминание она активно обращается к долговременной памяти, а в лабиринтах игнорирует обе памяти и просто считает и её этому никто не научил.