В Weavy есть нода для Ltx2 Video2Video, где можно с неким контролем генерить используя 3д болванку или реальные видео.
На скрине указал на основные параметры, которые нужно менять:
Num Frames - указываем по формуле x*8+1.
FPS - для ltx чем больше тем лучше, ниже 30 считаю не стоит вообще генерировать.
Preprocessor - выбираете нужный (depth, canny, pose), я использовал в своем случае pose, потому что хотел передать только движения персонажа, но глубина или линии позволяют точнее контролировать сцену.
Загружайте видео и изображение только одного разрешения, кратного 32.
И изображение должно совпадать с первым кадром видео.
Для воркфлоу в Comfy те же правила с более гибким контролем и результат с входным видео лучше мэтчится. Наверное у ltx на сервере хреновый препроцессор
Результат с Weavy следующим постом ⬇️