Сбер
открыл исходный код GFusion — экспериментальной диффузионной языковой модели на базе ИИ-помощника ГигаЧат, разработанной стажером
Автор модели — Даниил Тихонов, бывший стажер Сбера. Разработка целиком выросла из его дипломной работы на ФКН НИУ ВШЭ, а сразу после успешной защиты Даниил полноценно присоединился к команде фундаментальных моделей Сбера (ГигаЧат Pretrain).
По технике: вместо привычного посимвольного вывода токенов GFusion генерирует сразу целые блоки текста, редактируя и дорабатывая его в процессе. Это доказывает, что ускорять LLM можно за счет нового подхода к самой генерации, а не только оптимизацией инфраструктуры.
Результаты в цифрах:
• до 70% быстрее базовой GigaChat3-10B-A1.8B;
• на 39% быстрее версии с MTP;
• снижение качества — всего 2–4 п.п.;
• открыты код модели, обучение, оптимизированные attention-ядра и поддержка в SGLang.
GFusion-10B-A1.8B-base GFusion-10B-A1.8B GitVerse🐱
GitHub
