🔎 Looped-модели научились экономить память: качество 12 блоков при KV-кэше на 4

Looped-модели прогоняют токен через один и тот же блок слоёв несколько раз, и так глубина растёт без роста параметров. Мешало одно: на каждой итерации копится свой KV-кэш, и память раздувается.

Авторы заметили, что внутреннее состояние модели со временем почти перестаёт меняться. Поэтому на декодинге можно хранить только финальные ключи и значения, а не всю цепочку итераций.

На модели 1.6B это дало 60% в среднем по бенчмаркам. Обычный трансформер из 4 блоков набирает 51%, из 12 блоков 61.5%. Получается почти уровень 12 блоков при втрое меньшем KV-кэше. Бонусом промпт обрабатывается до 1.79 раза быстрее, а RL-обучение идёт вдвое быстрее.

Код и 49 чекпоинтов открыты.

https://arxiv.org/abs/2610.06833

https://github.com/ifm-ai/xllm-loop