Рендеринг видео: перевод видео в видео с текстовым сопровождением Zero-Shot

Большие модели диффузии текста в изображение продемонстрировали впечатляющее мастерство в создании высококачественных изображений. Однако при применении этих моделей к области видео обеспечение временной согласованности между видеокадрами остается серьезной проблемой. В этой статье предлагается новая фреймворк для преобразования видео в видео с текстовым управлением для адаптации моделей изображений к видео. https://huggingface.co/papers/2306.07954