Дал им вертикальное видео с парнем на пустыре и его же фото в Дубае (красиво жить не запретишь).
ID-V2V перекрасить (релайтнуть) снятое. Движение берёт из видео, сцену с картинки. Аналог - SwitchX.
SCAIL-2 оживить фото. Персонажа и фон берёт с картинки, движение с видео. Аналог - Viggle и Runway Act-Two.
Звучит похоже, но ниче не понятно, пока не посмотришь на фон.
У ID-V2V он "уползает". Начинается Дубай, а к концу ролика приезжают кусты и какая-то парковая дорожка (с исходника). Он фон рисует заново каждый кадр, вот его и уводит. У SCAIL-2 Бурдж-Халифа как стояла, так и стоит - он фон не выдумывает, а берёт с картинки.
Вот это и оказалось главной разницей.
По времени на 4080S, 121 кадр:
ID-V2V — 9:37
SCAIL-2 — 38:03
Но это сравнение ну такое: под ID-V2V есть дистилл-лора на 10 шагов, а SCAIL я гонял на честных 20 с cfg. Найдёте дистилл под SCAIL - пишите в комментах.
Отдельно: ID-V2V в ComfyUI грузится наполовину. Модель гибридная, ComfyUI видит в ней VACE и дальше не разбирается - выбрасывает 368 тензоров. Ровно те, что отвечают за лицо. Ошибок нет, в консоли тишина, всё «работает».
Фикс есть (PR #15139) но пока до комфи не доехал.Поэтому я завернул все в надежный и качественный костыль 😊😊😊 - в пак для custom_nodes, лежит в комментариях, там же и инструкция. SCAIL-2 работает сразу, чинить нечего.
Что брать:
- сохранить снятое, поменять свет и обстановку → ID-V2V
- оживить готовый кадр или подменить человека → SCAIL-2
720p ни один на 16 гигах не потянул.
Воркфлоу обоих и пак с фиксом - в комментариях, внутри ссылки на модели.
P.S. Заодно нашёл у себя в лаунчере
--disable-async-offload. Он рубит встроенный block prefetch - то, что как раз и спасает, когда модель не влезла в карту. Убрал, стало на 17% быстрее везде.