Stable Video Diffusion очень хорош

Получается в самом деле стабильное видео из картинки-референса. Качество 1024х576, запускается на БЕСПЛАТНОМ колабе, генерит 1 видео примерно за 8-10 минут. Умеет делать впечатляющие пролеты/наезды/проезды.

Из минусов:
• принимает на вход только картинку, сгенеренную в StableDiffusion.
Т.е. вам сначала придется сделать картинку в SDXL или взять ее из вашего архива, а потом уже кидать её как референс.

• направление впечатляющих пролетов/наездов выбирает самостоятельно, ориентируясь на ControlNet. В отличие от GEN-2, никаких настроек нет – но они точно появятся в дальнейшем.

Пока можно тестить и удивляться.

Пробовать тут:
https://colab.research.google.com/github/mkshing/notebooks/blob/main/stable_video_diffusion_img2vid.ipynb

#img2video #stablediffusionvideo #video