Построенный на еще старом алгоритме tune-a-video AnimateDiff развивается, и теперь в него входит:
☺️Поддержка Lora 🔥ControlNET ❤️Img2reference
👍Новый модуль движения motion_model_v15_v2
🍎Upscale 🐑Rifle - для создания промежуточных кадров (что очень важно, так как в среднем 8 кадров в секунуду)
🧐Prompt Travel
Остановимся как раз на prompt travel, в сочетании с модулем движения и ContolNET, мы получаем самый настраиваемый и гибкий инструмент для генерации нейронных видео.
То есть это в сравнение с Gen-2 и PikaLabs, AnimateDiff позволяет создать управляемое видео внутри пространства, меняя параметры камеры от 50мм до рыбьего глаза, менять предметы в руках персонажа и так же его окружение.
Да еще и opensource, и любимые Лоры из SD 1.5 можно взять.
📕 Больше инфы про AnimateDiff:
LINK
LINK
GITHUB—COLAB
(Собрал под себя, нужно много всего менять, чтобы запустить, урок сделаю со временем)