Как синхронизировать голос и мимику цифрового двойника? Нужен актёр, volumetric-студия и нейросеть.

«Просканировать» лицо реального героя (актёра) и собрать данные для его цифрового двойника можно в volumetric-студии. Это специальное помещение со стробосветом, оборудованное камерами машинного зрения.

Результат съёмки в volumetric-студии — это набор всех возможных положений лицевых мышц, которые человек использует при разговоре и выражении эмоций. А также много часов видео, на котором актёр наговаривает различный текст.

На таком большом датасете нейросеть и обучается липсинку — синхронизации голоса и мимики. А цифровой аватар в итоге правильно шевелит губами под речь актёра — уже без помощи 3D-аниматора.

Хотите узнать подробности? В новом материале на Хабре раскрываем всю внутрянку работы volumetric-студии Сбера и рассуждаем о перспективах 3D-двойников. Присоединяйтесь к обсуждению в комментариях.