Даниил Дорошков прислал классное видео. задумка взята с реддита, где чел использовал симуляции дыма и огня из Embergen как основу и превращал с помощью AnimateDiff в кайфовые анимации цветов. Даниил взял готовые футажи дыма со стоков и обработал стандартным воркфлоу vid2vid с добавлением контролнетов Depth и Lineart
Универсальных настроек не нашел, под каждое входное видео нужно подстраивать индивидуально. Ну и основная работа состояла из подбора настроек и композа всяких аморфных видосов для входного изображения. Чекпойнты моделей и лоры пробовал разные, мне зашли нескольо анимэшных, получилась стилистика олдового аниме.
чтобы оценить возможности метода рекомендую еще прогуляться по инсте shanef3d, который тоже вдохновился этим пайплайном. у него и цветочки и грибочки и даже рыбки из дыма есть
пост на реддите
гайд и воркфлоу на civitai
инстаграм Даниила
инстаграм shanef3d
@тоже_моушн