How to Train Your Latent Diffusion Language Model Jointly With the Latent Space
[Статья]

Диффузионные модели выступают привлекательной альтернативной авторегрессионным моделям как текстовые модели с точки зрения эффективности и возможности пересматривать выбор токенов по ходу генерации.

Существуют дискретные диффузионные модели, которые каким-то образом расшмуляют категориальное распределение (маскированная и равномерная диффузии). Но в итоге все равно надо факторизовать распределение и предсказывать токены по отдельности. Да и на каждом шаге надо декодировать в токены.

Непрерывная диффузия позволяет декодировать в дискретные токены только в конце генерации. Но тогда остро встает вопрос правильного пространства для латентной диффузии. Можно взять предобученные эмбеды, а можно учить их совместно с моделью, что и предлагают авторы рассматриваемой статьи.