Вторая статья про законы скейлинга для зацикленных трансформеров (первая тут). Теперь с MoE.

Scaling Laws for Looped Mixture of Experts
Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi
Paper: https://arxiv.org/abs/2609.40316
Review: https://arxiviq.substack.com/p/scaling-laws-for-looped-mixture-of
Code: N/A
Model: N/A

ЧТО сделали: Вывели Loop Scaling Laws — фреймворк, который совместно моделирует глубину рекуррентных циклов и разреженность Mixture-of-Experts (MoE) наряду с числом параметров и объёмом данных предобучения. Закон заменяет неограниченный рост эффективной ёмкости на функцию с насыщением, зависящую от разреженности.

ЧТО получили: Ограниченная формула предсказывает лосс на отложенных тестах рекуррентности до 16 проходов с RMSE 0.0100 (против 0.2847 у линейной модели и 0.0480 у степенного закона). При равных затратах 1.5E22 FLOPs модель LoopMoE с 0.3B активных (1.3B всего) параметров и 5 проходами сопоставима с нерекуррентной MoE вдвое большего размера (0.6B активных, 2.9B всего) на GSM8K (41.2% против 42.9%) и BIG-Bench Hard (31.8% против 29.8%).

ПОЧЕМУ это важно: Закон позволяет математически оптимизировать число активных весов, количество экспертов и глубину рекуррентности под жёсткие лимиты памяти устройств. Однако выигрыш в параметрической эффективности заметен в основном на задачах на рассуждение и проседает на тестах широкого кругозора.

Скейлить тут: https://t.me/gonzo_ML_podcasts/4826