Команда Open Thoughts представила OpenThinker3-7B — модель с 7B параметров, натренированную на 1.2M задач по математике, программированию и естественным наукам. Построена на базе Qwen2.5-7B-Instruct и удивляет точностью даже без RLHF.
🔍 Что внутри:
• 850 000 математических задач
• 250 000 задач по программированию
• 100 000 научных вопросов
• SFT (без RL) — но обходит модели до 32B
📊 Результаты (AIME24 / MATH500 / CodeElo):
• OpenThinker3-7B:
69.0 / 90.0 / 32.2 • DeepSeek-R1-Distill-32B:
51.3 / 88.0 / 21.1 • OpenThinker2-7B:
60.7 / 87.6 / 26.6 🧩 Ключевые фишки:
• Полностью открытая модель: веса, код, датасеты
• Работает с Evalchemy, CodeElo, GPQA, JEEBench
• Умеет точно рассуждать без цепочек промптов
• Превосходит модели в 3–5 раз больше по параметрам
⚙️ Технические детали:
• GPU: 512 × A100
• Время обучения: 48 часов
• PyTorch 2.3, Transformers 4.46
• Оптимизатор: AdamW, LR: 8e-5, cosine scheduler
🔗 Полезные ссылки:
https://huggingface.co/open-thoughts/OpenThinker3-7B
📂 Датасет: https://huggingface.co/datasets/open-thoughts/OpenThoughts3-1.2M
📄 Статья: https://arxiv.org/abs/2506.04178
💻 GitHub: github.com/open-thoughts/open-thoughts