EchoMimic: реалистичная портретная анимация изображений 🖼EchoMimic - проект инновационного подхода, комбинирующий использование аудиодорожки и маркеры лиц для создания динамичных портретов сохраняя реалистичность исходного иpображения.
Согласно проведенным в ходе разработки бенчмаркам, EchoMimic демонстрирует лучшие результаты по сравнению с другими проектами, такими как: SadTalker, AniPortrait, V-Express и Hallo в различных наборах данных, достигая высоких показателей по метрикам FID, FVD, SSIM и E-FID.
💻 Локальный запуск возможен в
ComfyUI или отдельный
UI-интерфейс.
⚙️ Рекомендованные ресурсы - от 16 GB VRAM, но EchoMimic работает и на 8 GB VRAM (увеличивается время инференса).
⚠️ В процессе установки скачиваются дополнительные модели:
— sd-vae-ft-mse;
— sd-image-variations-diffusers;
— audio_processor(whisper).
⚖️ Лицензирование: Apache-2.0
GitHub [ Stars: 492 | Issues: 6 | Forks: 50 ]
Страница проектаМодели на HFArxivHare AI |
Chat |
Twitter |
Youtube |
Website