Диффузионные модели для видео: с чего начать? /w @Magistrkoljan

Сегодня я расскажу, как минимальными усилиями начать свой путь в мире диффузионных моделей для генерации видео. Если вы не знаете, что такое диффузионные модели, то рекомендую сначала прочитать guidebook по диффузионным моделям. Начнём!

Туториалы

Отличной стартовой точкой будет прохождение туториалов, где можно получить обзор всей области: от как модифицировать картиночную модель для генерации видео и до как учить полноценную модель с нуля и еще потом дообучать.

• Видео-обзор диффузионных моделей для видео
• Текстовый обзор от ранних до моделей, до самых актуальных

Прикладные фреймворки

Если теория вас не впечатляет, то советую потыкаться в демки:
• Анимируем своё лицо - используем подход Live portrait недиффузионный, но всё равно прикольно (пример в комментариях)
• Быстрая генерация видео - используем LTX-Video — дешево и сердито

Если хотите сами покодить, то вот вам:
• Запуск подхода AnimateDiff - самый простой подход по генерации видео на основе картиночной модели
• Запуск модели через diffusers - из коробки запустить CogVideo можно и на колабе

Если у вас еще есть и деньги:
• Kling — для генерации различного контента + фишки в виде генерации по реферансам
• Gen 3 — для генерации image-to-video

Основные модели
Если вам хочется разобраться в технических деталях, обратите внимание на два глубоких техрепорта:

• MovieGen от Meta
• Cosmos1 от NVIDIA

В материалах описаны все детали: сбор данных, детали архитектуры, подходы по обучению.

Прикольные применения видео моделей

Применимость видео моделей как будто безгранична, они могут помогать во всех задачах компьютерного зрения (поэтому и вам стоит их изучить 😊).
Меня больше всего поразила генерация игр на ходу — сел в самолёт и можно поиграть в Minecraft или CS2

• OASIS
• DIAMOND

За какими подходами стоит следить?

• Diffusion Forcing - авторам удалось соединить авторегрессию и диффузии, что достаточно сложно и я писал про их сложность вот тут
• CausVid - сделали реалтайм генерацию видео, вы можете смотреть видео и оно дальше продолжает генерироваться 😱

Чтобы оставаться в курсе дел:

• Awesome-Video-Diffusion - я для себя ничего не нашел лучше это гитхаба, его обновляет каждый день мой знакомый, по совместительству автор фичи Motion Brush в Kling

❗️Сохраняйте к себе и пересылайте друзьям, чтобы все были в теме. Пишите в комментариях ваши замечания и идеи, чем можно дополнить обзор