Рекуррентность как мы любим. Рекурсия по времени с сохранением состояния позволяет заметно срезать глубину модели.

Temporal Recurrence Favors Fewer Layers
Ivan Anokhin, Johan Obando-Ceron, Irina Rish, Sebastian Risi
Paper: https://arxiv.org/abs/2609.12531
Review: https://arxiviq.substack.com/p/temporal-recurrence-favors-fewer
Code: https://github.com/avecplezir/fewer-layers-with-rec
Model: N/A

ЧТО сделали: Исследовали взаимодействие временной рекуррентности с глубиной нейросетей, формализовав проектирование архитектур как задачу распределения ресурсов при фиксированном бюджете FLOPs на шаг. Авторы разработали модульный фреймворк Parallel Experts, охватывающий задачи обучения с подкреплением (RL) и языкового моделирования, и систематически сравнили рекуррентные архитектуры с бейзлайнами прямого распространения (feedforward), варьируя глубину шага, количество параллельных экспертов и ширину скрытых слоёв.

ПОЧЕМУ это важно: Классическое глубокое обучение опирается на физическую глубину слоёв для построения последовательных трансформаций, что создаёт жёсткое бутылочное горлышко последовательного выполнения (serialization bottleneck) при прямом проходе и разворачивании градиентов во времени. Работа показывает: перенос выразительного скрытого состояния через шаги позволяет мелким (shallow) сетям не уступать глубоким моделям или даже превосходить их. Это даёт возможность эффективно перераспределить последовательную глубину в параллельную ширину без просадки в качестве.

Для практиков: Если вы упираетесь в ограничения железа, глубокие стеки слоёв накладывают налог на последовательное исполнение, увеличивая задержку (latency) инференса и усложняя обучение рекуррентных моделей. На задачах со сложным планированием в Sokoban и предсказании следующего токена на FineWeb рекуррентные сети всего из 2–4 слоёв показали сопоставимое качество с 16–32-слойными feedforward-моделями при строго одинаковом бюджете вычислений. Это открывает дорогу к замене вертикальной глубины параллельными блоками для лучшей утилизации GPU и более быстрых циклов инференса.

Срезать глубину здесь: https://t.me/gonzo_ML_podcasts/4809