😎💡FineMath: новый математический датасет от Hugging Face

Hugging Face выпустили крупный датасет FineMath, предназначенный для обучения моделей на математическом контенте. Датасет был сформирован с использованием CommonCrawl, классификатора, обученного на аннотациях LLama-3.1-70B-Instruct, и последующей фильтрации данных.

По сравнению с OpenWebMath и InfiMM, FineMath демонстрирует более стабильный рост точности моделей с увеличением объема данных. Этот эффект достигается благодаря качеству и разнообразию контента.

На базе FineMath уже создан проект по обучению LLM для математической помощи — репозиторий доступен на GitHub.