Flow Map Language Models: One-step Language Modeling via Continuous Denoising
📄 [Статья]
💻 [Код]

Статья старше ELF и LDLM, тем не менее интересна с точки зрения самого подхода и теоретических результатов.

На текущий момент в текстовой диффузии преобладают дискретные подходы, итеративно расшумляющие токены в связный текст. Однако при таком подходе распределение токенов всё равно получается факторизованным, и нет возможности итеративно обновлять состояние уже предсказанных токенов.

В непрерывной диффузии этого можно добиться, но на практике она обычно уступает дискретной. И в этой работе предложили подход к генерации текста, основанный на непрерывных потоках, к которому ещё прикрутили flow map-дистилляцию, позволяющую получать адекватное качество на малом числе шагов сэмплирования.