Google представила DiffusionGemma — экспериментальную открытую модель для генерации текста, которая работает не как привычные LLM.

Обычные языковые модели пишут текст слева направо: токен за токеном, как печатная машинка. DiffusionGemma работает иначе: вместо предсказания слово за словом она генерирует целые блоки текста одновременно, а затем итеративно уточняет результат. Google описывает модель как 26B Mixture of Experts, которая активирует 3,8B параметров при инференсе и распространяется под лицензией Apache 2.0.

Это похоже на диффузионные модели для изображений: сначала появляется черновая структура, потом модель постепенно “проявляет” финальный результат.

За счет такого подхода модель может не просто быстро продолжать текст, а самостоятельно исправлять ошибки, перестраивать фрагменты и форматировать сложный Markdown в реальном времени. Для разработчиков это особенно интересно в задачах редактирования кода, генерации документации, inline-editing, code infilling и работы с большими структурированными блоками. Google отдельно отмечает, что модель может генерировать 256 токенов параллельно за один проход и использовать двунаправленное внимание.

Что заявляет Google:

— до 4x быстрее генерация текста на выделенных GPU;
— больше 1000 токенов/с на NVIDIA H100;
— больше 700 токенов/с на GeForce RTX 5090;
— квантованная версия помещается в 18 GB VRAM;
— поддержка Hugging Face Transformers, vLLM, MLX, NVIDIA NeMo и других инструментов;
— поддержка llama.cpp заявлена как coming soon.

Главная идея тут не в том, что Google сделала “еще одну модель”. Интереснее другое: идет поиск архитектур, которые лучше используют локальное железо.

Классическая авторегрессия удобна для облака, где можно батчить тысячи запросов и эффективно загружать серверы. Но на локальной GPU один пользователь часто не может полностью загрузить ускоритель: модель ждет следующий токен. DiffusionGemma пытается решить это иначе — дать GPU сразу большой кусок работы и превратить инференс из “печатной машинки” в “печатный станок”.

Но есть важное ограничение.

Google прямо пишет, что по качеству DiffusionGemma пока уступает стандартным Gemma 4. То есть это не замена основной модели для продакшена, а экспериментальная ветка для сценариев, где критичны скорость, интерактивность и локальное исполнение.

И вот это самый интересный сигнал рынка.

Мы постепенно уходим от мира, где “LLM = один универсальный чат-бот”. Дальше будет зоопарк специализированных архитектур: одни модели для рассуждений, другие для агентов, третьи для локального исполнения, четвертые для сверхбыстрого интерактивного редактирования.

DiffusionGemma — это не финальная точка. Это еще один шаг к тому, чтобы локальный ИИ стал не медленным приложением с ожиданием ответа, а быстрым интерактивным слоем внутри рабочих инструментов.

Ссылка на материал Google:
https://blog.google/innovation-and-ai/technology/developers-tools/diffusion-gemma-faster-text-generation/