🧠 DualDistill: как 7B-модель обходит гигантов в математике

📚 Agentic‑R1 учится у двух учителей:
• один рассуждает в тексте
• другой — пишет Python-код
Затем оба трека сливаются в 2 678 гибридных примеров.

✅ Если оба правы — сохраняются оба пути
⚠️ Если один ошибается — фиксируется момент передачи
❌ Безнадёжные случаи — отбрасываются

После обучения ученик запускается сам:
• сохраняет удачные попытки
• исправляет ошибки с помощью учителей
• дообучается, добавляя 16 новых попыток на каждую задачу

🎯 Финальная модель в реальном времени решает: рассуждать или писать код
• вызывает исполнитель в 79.2% тяжёлых комбинаторных задач
• но лишь в 52.0% простых AMC-вопросов

📈 Результаты:
• DeepMath‑L и Combinatorics300: рост точности с 34.7 → 59.3
• Стандартные датасеты — стабильные метрики
→ Гибридное обучение оказалось сильнее одиночных стратегий

📝 Paper: https://arxiv.org/abs/2507.05707