Симпатичный и содержательный блогпост про Flow-Based генерацию языка.

Содержание блога следующее:
1️⃣ Стандарные вводные про авторегрессию vs диффузию
2️⃣ Специфика текстовый диффузии
3️⃣ Наблюдение про то, что минимизация L2 для x0-предсказания суть MLE для гауссовой модели с фиксированной дисперсией
4️⃣ Затем вводится понятие FlowMap - отображения из любой точки s на траектории в любую другую t (иначе говоря, выход интегрирования по мгновенной скорости)
5️⃣ Обучать FlowMap можно через Lagrangian self-distillation (тождество, которому обязан удовлетворять FlowMap)
6️⃣ Далее приводится специальная форма FlowMap для категориального распределения, когда распределение живет на вероятностном симплексе