Microsoft представила систему авто-анимации рта и речи для 3D-персонажей

Microsoft Research представила AnyTalk - систему, которая может автоматически создавать лицевую 3D-анимацию для произвольных персонажей. Для запуска не требуется заранее собирать отдельный набор анимационных данных: система использует видеомодель, адаптирует ее под конкретного персонажа и затем наносит полученные движения обратно на 3D-модель

То есть берутся отрендеренные изображения и аудио-реплики, затем модель генерирует для них говорящую голову, (получившееся видео используется как промежуточный этап) уже из которой AnyTalk вычисляет blendshape движения лица и переносит их обратно в модель

У проекта есть версия AnyTalkRT для работы в реальном времени. После оптимизации, по словам авторов, она рассчитывает около 110 FPS в полном разрешении. Но указывают на небольшой компромисс в точности синхронизации губ ради скорости

Система работает с разными face mesh и разными shape-наборами, что потенциально снижает объем ручной работы и требования к анимационным данным. Для игр, концептов и разработки - это действительно может быть полезно