Модель MobileLLM-R1 для решения reasoning задач

MobileLLM-R1 — это новая модель, специально разработанная для выполнения reasoning задач, которая вмещает меньше 1 миллиард параметров и идеально подходит для работы на edge-устройствах. Несмотря на компактные размеры, эта модель демонстрирует выдающуюся эффективность и точность.

Превосходная производительность

MobileLLM-R1 решает математические задачи почти в 5 раз точнее, чем Olmo-1.24B, и в два раза точнее, чем SmolLM2-1.7B, при этом её параметры намного меньше.

Высокая эффективность обучения

Эта модель обучалась на 4.2 триллионах токенов, что составляет лишь около 10% от объема данных, используемых для обучения Qwen3, но при этом демонстрирует сопоставимые или даже лучшие результаты на тестах по reasoning.

MobileLLM-R1 представляет собой серию эффективных моделей для reasoning задач с различной сложностью:

Базовые модели:

• MobileLLM-R1-140M-base
• MobileLLM-R1-360M-base
• MobileLLM-R1-950M-base

Финальные модели:

• MobileLLM-R1-140M
• MobileLLM-R1-360M
• MobileLLM-R1-950M

Что делает её уникальной?
MobileLLM-R1 не является универсальной моделью чата. Это специализированные модели, обученные для решения математических, программных (Python, C++) и научных задач. Она обходит модели с гораздо большим количеством параметров, таких как Olmo 1.24B, на задачах MATH и кодирования, устанавливая новый стандарт среди открытых моделей.
MobileLLM-R1 обучалась с использованием передовых методов, включая distillation и оптимизацию через Adam-optimizer, что позволило достичь высокой производительности при минимальных объемах данных. Будущие модели могут быть ещё компактными и мощными, а что вы думаете? Будет интересно почитать.

Data Science