⚡️ Датасет **UltraData-Math** сейчас в топе трендов на HuggingFace. Его идея - сделать упор не на объём, а на качество данных для обучения математическому мышлению.
После обучения на этом наборе модель MiniCPM-1.2B показала результат 61.79 на GSM8K - уровень, который обычно требуют гораздо более крупные модели и массивные датасеты. При этом она сохраняет общие знания.
Что в нём особенного
- Минимум шума - данные проходят оценку качества, слабые примеры удаляются
- Не только учебники — есть обсуждения с форумов, разборы решений и многошаговые диалоги
- Несколько уровней плотности (L1–L3) — можно выбрать вариант под свои вычислительные ресурсы
Вывод простой
Для сильной модели важен не только размер, но и чистота и полезность данных.
Датасет подойдёт тем, кто работает с дообучением или обучает компактные модели.
https://huggingface.co/datasets/openbmb/UltraData-Math
Post #1016
2.7K

- ❤ 10