Очередная крутая работа от OpenAI: Diffusion Models Beat GANs on Image Synthesis. SOTA для генерации картинок на ImageNet

Предлагается новый тип генеративных моделей — вероятностная модель диффузии (Diffusion Probabilistic Model), для краткости «диффузионная модель». Диффузионная модель представляет собой параметризованную цепь Маркова, обученную с использованием вариационного вывода для создания выборок, соответствующих данным, за конечное число шагов. Процесс диффузии тут — это цепь Маркова, которая постепенно добавляет шум к данным в направлении, противоположном семплированию, пока сигнал не будет разрушен. Так вот мы учим обратные переходы в этой цепочке, которые обращают вспять процесс диффузии. И к бабке не ходи, мы параметризуем всё нейронными сетями.

Получается очень качественная генерация, даже лучше чем ганами (особенно хорошо видно на дядьке с Язем, которого здорово так колошматит в моделе BigGAN). Минус диффузионных моделей сейчас — это медленная тренировка и инференс.

Есть код. Подробнее тут.