Всем привет! На этой неделе в четверг 16 октября в 14:00 мы проведём нашу ридинг группу, на которой выступит Егор Шибаев.

В докладе будет дан короткий, практичный обзор диффузии для текста: сначала — мотивация и сравнение с авторегрессией (параллельное итеративное исправление), затем краткий ввод в дискретные диффузионные модели с интуицией обратного постериора; после этого — переход к маскированной диффузии как базовой схеме и разбор её ограничения «ранней фиксации».

Далее будут рассмотрены стратегии ремаскинга: инференс-временные без дообучения и обучаемые целевые политики, эффективные при малом числе шагов. Завершится выступление кратким обзором масштабирования диффузионных языковых моделей и выводами о том, как выбор стратегии ремаскинга и бюджета шагов влияет на баланс скорости и качества.

Основные работы по этой теме:
D3PM https://arxiv.org/pdf/2107.03006
MDLM https://arxiv.org/pdf/2406.07524
large scale модели
LLADA https://arxiv.org/pdf/2501.15781
Dream https://arxiv.org/pdf/2508.15487
Seed Diffusion https://arxiv.org/pdf/2508.02193
remasking (выделил работы в отделную группу)
ReMDM https://arxiv.org/pdf/2503.00307
G-Star https://www.arxiv.org/pdf/2510.08369
RemeDi https://arxiv.org/pdf/2509.23653

Ссылку на зум пришлем перед встречей! Приходите, будет интересно! 😊