GFusion: как диффузионный подход ускорил GigaChat ⚡️

Команда GigaChat представила проект GFusion — диффузионную языковую модель на базе GigaChat3-10B-A1.8B-base. В отличие от классического авторегрессионного подхода, где текст генерируется строго по одному токену, диффузионная LLM восстанавливает за один проход сразу несколько токенов внутри замаскированного блока.

Весь проект — от идеи и обучения до оптимизации runtime и open-source релиза — выполнил стажер команды Pretrain. Новый метод позволяет увеличить скорость генерации в однопользовательском режиме в среднем на 70% по сравнению с базовой моделью, при этом снижение качества составило всего 2–4 п.п., а балансом скорости и точности можно управлять через параметры генерации.

В ходе работы команда добавила поддержку GFusion в SGLang и реализовала алгоритм entropy-bounded sampling для ускорения диффузионных моделей. Кроме того, в open source была выложена собственная реализация attention на TileLang под структуру диффузионной маски, которая дает до +77% end-to-end ускорения на длинном контексте.

➡️Подробности исследования, код и веса моделей в статье на Habr, а также на GitVerse и Hugging Face: GFusion-10B-A1.8B-base, GFusion-10B-A1.8B