Восстановление трехмерной модели лица по нескольким рандомным видео по методу SPARK.

В отличие от предыдущих работ, в этой точность получения геометрии лица находится на довольно высоком уровне.

Сначала создаётся подробная болванка головы, потом сетка преобразуется под конкретную модель с видео, получаются все необходимые карты для последующего встраивания изображения обратно в среду.

В основе лежит уже обученная модель, которая может восстанавливать параметры лица (поза, выражение) по одному изображению. При этом авторы заменяют декодер этой модели на персонализированную модель, которая была создана на основе видео. Это улучшает точность работы.

Благодаря такой настройке модель способна в реальном времени восстанавливать параметры лица, включая выражения, для новых кадров, которых она ранее не видела.

Сколько подобных работ уже было, но мы всё ещё не имеем возможности быстро получить качественное трёхмерное представление своего лица, хотя бы близкое к реальному времени. Попробовать SPARK пока негде.