OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation

Новая версия оживлятора от ByteDance, снова без кода

На вход подаем картинку и аудиозапись речи. На выходе - видео

Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.

— согласует анимацию с ритмом, просодией и семантическим содержанием речи

— Контроль генерации, движения камеры и конкретных действий через текстовые промпты

— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки

Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье 🤩

#lipsync #speech2video #characteranimation #portraitanimation #avatar #research