🛞 TrajectoryCrafter (Moving-Camera Diffusion) — свежий инструмент от Tencent, который предлагает новый подход к перенаправлению траекторий камеры в монохромных видео.
Как работает модель:
🚩 Инициализация:
начинается с существующей траектории движения камеры или даже с чистого шума. Так задаётся исходное состояние, которое модель будет постепенно улучшать.
Модель использует одновременно два типа входных данных – рендеры точечных облаков (3D-представления сцен) и исходные видео.
🚩 Диффузионный процесс:
Модель обучается шаг за шагом «очищать» случайный шум, превращая его в последовательность траекторий. На каждом шаге происходит итеративное уточнение — модель предсказывает, как должна выглядеть более реалистичная траектория, исходя из заданных условий (например, плавности движения, и согласованности сцены).
Вместо того чтобы использовать только видео снятые с разных ракурсов, авторы создали обучающий набор, комбинируя обширные монокулярные видео (с обычной камерой) с ограниченными, но качественными многоплановыми видео. Такую стратегию достигается с помощью назвали - «двойная репроекция», она помогает модели лучше адаптироваться к различным сценам.
🚩 Генерация итоговой траектории:
После серии итераций, когда шум устранен, генерируется новая траектория камеры, которая соответствует заданным условиям и обладает высоким качеством визуальной динамики.
Установка:
git clone --recursive https://github.com/TrajectoryCrafter/TrajectoryCrafter.git
cd TrajectoryCrafter🟠 Github
🟠Статья
🟠Проект
🟠Demo
🟠Video
👉Новости 👉База вопросов