🧠 Representation-Space MMD for Diffusion Language Models

📄 Статья

Первое, что приходит в голову при слове «диффузия», — это «дистилляция» по шагам, ибо многошаговый инференс, как бы ни была хороша моделька, очень уж вычислительно затратен.

И это верно как для визуальных данных, так и для текстов.

Некоторое время назад мы с соавторами выпустили статью Scale-wise Distillation of Diffusion Models , где MMD-лосс хорошо показал себя в дистилляции диффузионных картиночных моделей.

В работе Representation-Space MMD for Diffusion Language Models ребята (в первую очередь два Ильи и Дима) перенесли данный подход на диффузионные языковые модели, и оказалось, что и для текстовых моделей MMD работает очень даже неплохо и заметно улучшает Парето-фронт качество/скорость.