Viggle открыла Viggle-Animate: локальная замена персонажа в видео по одному кадру

Viggle - AI-сервис для создания и редактирования видео с персонажами. В нем можно оживлять изображения, переносить движение из исходного ролика на другого героя и заменять персонажей в готовом видео.

Viggle-Animate - новая открытая модель команды для локальной замены героя в готовом ролике. Она берет движение, камеру и тайминг исходного видео, а внешность нового персонажа получает из одного перерисованного кадра.

Процесс выглядит так:

• берете исходный ролик;
• выбираете из него кадр, где персонаж хорошо виден;
• заменяете героя в любом редакторе изображений;
• передаете видео и измененный кадр в Viggle-Animate;
• модель распространяет новую внешность на весь клип.

Важно, что это не обязательно первый кадр. Лучше выбирать тот, где герой показан спереди, не перекрыт предметами и хорошо читается его форма.

Видеомодель не требует отдельной маски, скелета позы, карты глубины, трекинга лица или текстового промпта. Вся геометрия движения приходит из исходного видео, а внешний вид персонажа из подготовленного кадра.

Технически это полный fine-tune на 33,1 млрд параметров на базе MiniMax H3. Модель дистиллирована до трех проходов. В тесте самой команды ролик из 124 кадров, около 5,2 секунды при 24 fps и 480×832, обрабатывался за 26 секунд на одной NVIDIA B200. Это в 6,1 раза быстрее Wan2.2-Animate-14B в их сравнении на одинаковом оборудовании.

Я посмотрел опубликованный пример. На быстрых движениях персонаж действительно держится убедительно, а исходная камера остается нетронутой. Для клипов, рекламы, замены актера на стилизованного героя и экспериментов с существующим движением подход очень практичный.

Но ограничения есть:

• липсинк в крупных планах пока слабый;
• сложные сцены с несколькими героями и тесным взаимодействием даются хуже;
• монтажные склейки внутри ролика снижают качество;
• исходный звук не сохраняется, модель выдает видео без содержательной аудиодорожки.

Фактическая стоимость зависит от вашего оборудования или аренды GPU. Для запуска в bf16 требуется видеокарта минимум с 96 ГБ памяти. Режим offload снижает занятую видеопамять примерно до 12 ГБ, но работает заметно медленнее. Вариант для RTX 5090 у команды есть, однако этот путь пока не опубликован.

На мой взгляд, главное здесь не просто бесплатный локальный запуск. Интереснее сам принцип: сложную замену персонажа свели к двум понятным входам, видео и одному качественно перерисованному кадру. Но перед использованием в коммерческом проекте я бы обязательно проверил условия MiniMax H3 Community License и получил согласие человека, чья внешность используется.

Модель и браузерное демо:
https://huggingface.co/Viggle/Viggle-Animate