Делюсь с вами прикольным опен сорс проектом - LongCat Video.
По большому счету это относительно бесплатная альтернатива коммерческим видео/аватар сервисам которую можно развернуть локально
Текст > видео, изображение > видео, длинные видео или продолжение видео.
Функционал обширен.
Репозиторий живой.
Главный кайф что можно запускать на собственной GPU
Но есть ньюанс. Модель достаточно тяжелая поэтому нужна либо мощная GPU либо своя либо аренда. Пиковый лонг видео сценарий потребовал у меня более 50GB VRAM
Нормальный вариант это арендовать что нибудь в районе 48 GB VRAM + RTX6000 или аналог по мощности для более коротких видео
А вот для длинных видео я бы запас брал еще больше что то в районе 80GB VRAM
На такой максималке можно арендовать примерно за $1.2 в час.
Первый запуск понятное дело будет дороже так как модель еще нужно скачать и распаковать, до готового результата за час не дойти
Но зато в последующем можно тратить на видео +- $0.3-0.5. Главное все заранее подготовить весь материал.
Считаю это дешево достаточно.
Если вы на англ особо не наговариваете то можно собрать целый стек приплюсовав туда CosyVoice (клонирует голос при переводе) и Latent Sync 1.6 (чтобы поменять движение губ под англ речь). Еще для движения губ прикольная MuseTalk 1.5. Но мне Latent Sync кажется получше. Он правда сильно медленнее но качественнее.
Есть еще мини HeyGen в виде готового опен сорс - LangSwap. Я еще не пробовал но сильно сомневаюсь что готовые решения хорошо справляются с синхронизацией движения губ поэтому лучше все таки собрать стек самому.
Со структурой думаю разберетесь. Сперва записываете видео > получаем англ речь своим голосом > синхронизируем губы > при необходимости меняем фон > готовое видео
Виртуальный сет для себя лучше собрать заведомо, то есть студию или пространство вокруг вас если все же фон текущий не устраивает
GPU в почасовую аренду советую брать на RunPod.
Более продвинутым пользователям больше подойдет Vast
На Vast цены ниже так как это по факту биржа, а разобраться легче в RunPod. Но так как речь идет за небольшие деньги на первых этапах уж точно, то RunPod мой вам совет.
Post #1076
825
- ❤ 3
- 🔥 2