Is Noise Conditioning Necessary for Denoising Generative Models?
[Статья][Нет Кода, но можно попросить Sonnet 3.7 написать]

Введение

В диффузионных моделях, как в классической DDPM постановке, так и популярном нынче Flow Matching, генерация осуществляется путем итеративного перевода некоторого случайного шума в сэмпл из распределения реальных данных.

Кроме самого зашумленного сэмпла на вход генеративной модели обычно подается скаляр - сила наложенного шума, который отображается в некоторый многомерный вектор, модулирующий тем или иным образом (обычно scale-shift) карты активации внутри.

Данное архитектурное решение как-то устаканилось, и народ как-то особо не задумывался о его необходимости. А авторы из MIT (среди которых автор Резнета 😱) сегодняшней статьи задумались и попробовали убрать обусловливание на шум.