Audio2Face-3D

Это инструмент, разработанный NVIDIA, который преобразует аудиовход в реалистичную 3D-анимацию лица, обеспечивая синхронизацию движений губ и выражений с речью.

Он поддерживает как предварительно записанные аудиофайлы, так и потоковые аудиоданные в реальном времени, анализируя акустические особенности, такие как фонемы и интонации, для создания точных анимаций.

Система способна автоматически распознавать эмоциональные оттенки в речи и соответствующим образом адаптировать выражения лица цифрового аватара, делая его более естественным и выразительным.

Audio2Face-3D поддерживает одновременную обработку нескольких потоков, что позволяет нескольким пользователям подключаться и генерировать анимацию одновременно.

https://github.com/NVIDIA/Audio2Face-3D
================
👁 Если у вас плохо прогружаются файлы, всё также доступно в канале в MAX:
👁 News | 👁 Soft | 👁 Hacker