Ловите бомбу от Google! Вложенное обучение. Все как из фильма «Начало» Нолана

Google Research представил Nested Learning, которая решает одну из главных проблем современных моделей ИИ - постоянное обучение. Свежая статья тут.

Они доказали, что архитектура модели и алгоритм обучения — это одно и то же, просто на разных уровнях. Всё можно представить как вложенные задачи оптимизации, которые решают одновременно.

Ключевые концепции:
- Оптимизаторы — это тоже модули ассоциативной памяти.
- Память в трансформерах расширяется до Continuum Memory System — спектр модулей памяти с разной скоростью обновления.

Идея взята из фильма «Начало» Нолана.

Каждый уровень живёт по своим законам и с разной скоростью времени:
- верхний меняется за один токен,
- самый глубокий — раз в миллионы токенов.

Они создали модель Hope из 1.5 млрд параметров. На данный момент она:

- 3-е место среди всех моделей меньше 3 млрд параметров,

- обходит Titans-1.8B, Samba-1.9B, RWKV-7B и даже Llama-3.1-8B по качеству языка,

- держит 128 тысяч токенов контекста лучше Mistral-24B,

- учится пяти новым задачам подряд и ни одну прежнюю не забывает.

Впервые в истории — continual learning без replay, без LoRA, без regularization.

Просто потому, что забывание побеждено на уровне архитектуры.

Какие нюансы:
- Обучение на 35 % дороже обычного
- Пока работает только в рекуррентных архитектурах
- В продакшене больших моделей пока нет

Но уже есть три независимые репликации, включая Mistral AI.

Nested Learning — это новый фундамент. Если идея взлетит, через пару лет мы получим модели, которые учатся всю жизнь, как люди, и никогда ничего не забывают.