📐 Aryabhata 1.0* — интересный пример open-source подхода и model merging в действии.

Это небольшая языковая модель на 7B параметров, обученная для решения задач по математике. Её разработала индийская edtech-компания PhysicsWallah.

🧩 Как создавали модель:

1️⃣ *Model merging на старте*
Взяли три open-source модели:
— Qwen 2.5‑Math‑7B
— AceMath‑7B
— DeepSeek‑R1‑Distill‑Qwen‑7B

Объединили их веса (weighted average) и получили Aryabhata 0.5 — начальную модель без дополнительного обучения, просто усреднив параметры. Это заняло всего пару минут GPU-времени.

2️⃣ *Собрали датасет из задач по математике*
Взяли 250 000 заданий из своей базы JEE-экзаменов, очистили от лишнего, оставив ~130 000 актуальных заданий (2019–2024).

3️⃣ *Создание обучающих данных через CoT*
Aryabhata 0.5 решала каждую задачу, генерируя 4 цепочки рассуждений. Сохранили только те, что дали правильный ответ. Получилось 100 000 задач и 350 000 корректных reasoning-трейсов.

4️⃣ *Файнтюнинг (SFT)*
На этих парах дообучили модель, чтобы она писала решения в стиле студенческих ответов по стандарту экзаменов JEE.

💻 Обучение провели на связке из двух NVIDIA H100.

🧠 В результате получилась Aryabhata 1.0 — компактная, но точно заточенная под реальные экзаменационные задачи модель.

https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0