Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders

Попытка пересадить эти ваши диффузии с иглы vae на rae.

Основная разница в том, что с rae латент больше отражает сущности нежели текстуры.

Если завалящий sd vae жмет rgb картинку 1024х1024х3 в 128х128х4, rae - в 64х64х1024

Так как даже в unet архитектуре stable diffusion основным ботлнеком по памяти был все равно аттеншен, новый подход позволяет обойти эту проблему, тк он больше чувствителен к количеству токенов, чем их размерности.

Модели на таком латентном пространстве учатся быстрее, инференсятся за меньшее количество шагов (хоть и более тяжёлых), все счастливы.

Все потому, что vae latent это просто уменьшенная картинка, а rae - семантическое описание сцены с общим указанием координат.

Hf paper