Apple выпустили модель для кодинга, но не простую, а диффузионную

Напоминаем, что фишка диффузионных языковых моделей в том, что, в отличие от классических авторегрессионных трансформеров, в них генерация может происходить не обязательно слева-направо, а в произвольном порядке.

Отсюда и название – потому что модель, как в диффузионных генераторах картинок, как бы расшумляет замаскированную последовательность, а не просто генерирует ее токен за токеном.

Такой подход намного быстрее и порой эффективнее по качеству. Сейчас диффузионные LM мощно набирают популярность, даже Google недавно выпустили Gemini Diffusion (пост). Вот и Apple решили попробовать себя на модном поприще.

Если кратко, они взяли Qwen-2.5-Coder и с помощью марковских представлений научили его работать с масками.

Правда, без доп тюнинга модель все равно в большинстве скатывается в авторегрессию, то есть подсаживается на левосторонние токены. Но это регулируется с помощью RL и настройки температуры.

Прирост по метрикам от базовой модели составил +4,4 % по метрике EvalPlus. При этом генерация стала вдвое быстрее. Как видите, потенциал у подхода есть: особенно в коде, где для модели очень важна как раз эта диффузионная способность видеть наперед и планировать свои генерации.

Да, бывают и у Apple хорошие технические статьи. Модель, кстати, выложили в опенсорс