Еще один очень занятный релиз от Google – диффузионная языковая модель Gemini Diffusion

Кратко, в чем суть: вместо генерации токенов один за одним здесь они генерируются в произвольном порядке. То есть берется исходная последовательность текста, затем токены в ней маскируются с определенной веростностью, а модель пытается их угадать (расшумляет, как в диффузии).

Это, во-первых, помогает существенно ускорять процесс. Такая Gemini может генерировать до 2000 токенов в секунду. Это раз в 10-15 быстрее, чем в среднем генерируют хорошо оптимизированные модели.

Во-вторых, в задачах типа математики такой подход к генерации может помочь модели быстро перебирать несколько вариантов решений и двигаться не обязательно последовательно, а в «удобном» порядке. Так что метрики сравнимы с предыдущим поколением моделей Google.

Попробовать пока можно только по запросу, но сам факт таких релизов от Google впечатляет