​​🤗CustomCrafter: индивидуальная генерация видео с сохранением движения и возможностей концептуальной композиции

Новую структуру, которая сохраняет способность модели генерировать движение и концептуальные комбинированные способности без дополнительного видео и тонкой настройки для восстановления.

Для сохранения концептуальной комбинированной способности мы разрабатываем модуль plug-and-play для обновления нескольких параметров в VDM, улучшая способность модели захватывать детали внешнего вида и способность концептуальных комбинирований для новых субъектов.

Используя подключаемость наших модулей обучения объекта, мы уменьшаем влияние этого модуля на генерацию движения на ранней стадии шумоподавления, сохраняя возможность генерировать движение VDM.

На более поздней стадии шумоподавления мы восстанавливаем этот модуль, чтобы восстановить детали внешнего вида указанного объекта, тем самым обеспечивая точность внешнего вида объекта.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться