Google учит текст появляться сразу кусками

Google DeepMind показала DiffusionGemma — экспериментальную модель на 26 миллиардов параметров, которая генерирует текст не привычным способом (слово за словом, слева направо), а блоками по 256 токенов параллельно. Как диффузионные модели делают картинки — сначала шум, потом из шума проявляется результат - только здесь проявляется текст.

Модель open-weights, лицензия Apache 2.0, работает на обычных GPU. То есть можно скачать и ковырять.

Google тестируют принципиально другую архитектуру генерации, где текст не выстраивается последовательно, а «кристаллизуется» целыми фрагментами. Демис Хассабис (глава DeepMind) лично репостнул - значит, внутри считают направление перспективным, а не просто выложили ради галочки.

ИИ что дальше? Подпишись, да пребудут с тобой токены!