2026-10-12: Новые законы скейлинга для рекуррентных Mixture-of-Experts 📈

В работе представлен фреймворк Loop Scaling Laws, который объединяет глубину рекуррентных циклов и разреженность MoE с числом параметров и объёмом данных предобучения. Этот закон заменяет неограниченный рост эффективной ёмкости на функцию с насыщением, зависящую от разреженности.

Формула предсказывает потери на тестах рекуррентности с точностью RMSE 0.0100, значительно лучше, чем предыдущие модели. При равных вычислительных затратах LoopMoE показывает сопоставимые результаты с нерекуррентной MoE значительно большего размера на задачах GSM8K и BIG-Bench Hard.

Закон важен для оптимизации активных весов, числа экспертов и глубины рекуррентности при ограниченной памяти устройств, улучшая параметрическую эффективность на задачах рассуждения, но с меньшим эффектом на более широких тестах.

🌎 Источники:
• arxiviq.substack.com
• t.me
• arxiv.org
• t.me

✍️ by gonzo_ML

#news #ai #tools
🇬🇧 🇷🇺 ☕️ 🌐 💷