🧩 STARM: Открытый фреймворк для рекурсивных reasoning-моделей от AI Forever

Наша команда R&D NLP представила STARM — open-source фреймворк для обучения рекурсивных reasoning-моделей.

📌 TLDR
STARM — фреймворк для рекурсивных моделей, способных к многошаговым рассуждениям. Мы нашли оптимальную архитектуру, стабилизировали обучение и получили SOTA на алгоритмических бенчмарках. На выходе единая модель для всех задач + поддержка test-time scaling.

🧠 Зачем?
Рекурсивные модели, когда один блок применяется многократно, теоретически эффективнее трансформеров для алгоритмических задач, но на практике страдали от нестабильности и плохой воспроизводимости. STARM пытается решить эти проблемы.

⚙️ Что внутри
— Системный поиск лучшей конфигурации рекурсивного блока (нормализация, residual, gating)
— Стабилизация обучения: gradient clipping, adaptive LR, curriculum по глубине
— Единая архитектура для сортировки, графов, арифметики и символических задач
— Test-time scaling: можно увеличить число шагов рекурсии при инференсе без дообучения

📊 Результаты
— 94.2% accuracy на алгоритмических задачах — новый SOTA
— Спец. трансформеры: 89.1%, open-source LLM: 76.3%
— При увеличении шагов рекурсии 4 → 32 точность растёт на +7.4%
— Сходимость в 2 раза быстрее, дисперсия результатов ↓40%

🖥 GitHub
📄 Хабр

💚Авторы работы
Инесса Фёдорова @notn3ss
Юлиана Шахвалиева @YulianaShakhvalievaa

Будем признательны за лайки на Хабре! 🙏
#reasoning #opensource