​​😎VD3D: Укрощение больших видеодиффузионных трансформаторов для управления 3D-камерой

Новые методы демонстрируют возможность генерировать видео с управляемыми позами камеры; эти методы используют предварительно обученные модели диффузии на основе U-Net, которые явно разделяют пространственную и временную генерацию.

Подход демонстрирует современную производительность для управляемой генерации видео после тонкой настройки на наборе данных RealEstate10K.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться