Temper 0.5B — это узкоспециализированная языковая модель, дообученная на базе Qwen2.5-Coder-0.5B-Instruct, которая демонстрирует впечатляющие результаты в генерации кода на Rust. Благодаря фокусу на конкретном языке программирования, эта крошечная модель превосходит более крупные аналоги по параметрам, а в некоторых бенчмарках даже обходит Qwen2.5-Coder-3B. Автор проекта проверил гипотезу о том, что узкая специализация позволяет малым моделям эффективно решать задачи, на которые не хватает ресурсов у универсальных LLM.

Процесс дообучения включал два этапа: сначала использовался датасет из 2700 примеров, сгенерированных Qwen3.6-35B-A3B на карте NVIDIA A40, что дало прирост pass@1 с 45,6% до 64,6% на тривиальных задачах. Затем датасет расширили до 10 000 качественных примеров от DeepSeek-V4-Flash, которые прошли компиляцию и тесты, после чего модель проходила обучение с подкреплением (RL). Итоговые результаты: 81,8% pass@1 на тривиальных задачах, 59,0% на простых и 34,7% на HumanEval-RS. Для оценки была создана собственная тестовая площадка из 100 задач, включающая работу с трейтами, Result, крейтами и Rc, чего не хватает в стандартных переводах Python-бенчмарков.