StableVideo: текстовое редактирование диффузионного видео с учетом согласованности

Методы на основе диффузии могут генерировать реалистичные изображения и видео, но они затрудняют редактирование существующих объектов в видео, сохраняя при этом их внешний вид с течением времени. Это предотвращает применение моделей распространения для естественного редактирования видео в практических сценариях. В этой статье мы решаем эту проблему, вводя временную зависимость в существующие модели распространения, управляемые текстом, что позволяет им генерировать согласованный внешний вид для редактируемых объектов. https://rese1f.github.io/StableVideo/