✔ Маленькая модель - крутой результат: LFM2-2.6B-Exp набирает 42% на GPQA

Для модели всего 2,6 млрд параметров такой балл обычно недостижим его ждёшь от куда более крупных систем.

Фокус в том, что команда не меняла архитектуру.
Они просто добавили RL поверх того же чекпоинта: модель генерирует ответы, получает оценку по задаче и обучается чаще выдавать выигрышные варианты.

Почему это важно
GPQA - жёсткий набор по научным вопросам, где «угадывание по шаблону» не работает.

Что внутри LFM2-2.6B
• гибрид: 22 слоя + 8 слоёв внимания
• контекст — до 32 768 токенов
• веса в bfloat16

⚡ грамотный дизайн наград + RL способны сильно поднять качество даже у маленьких моделей — без усложнения архитектуры.

https://huggingface.co/LiquidAI/LFM2-2.6B-Exp