4DAnyone: открытый фреймворк строит 4D-модель человека из видео, снятого одной камерой

Исследователи из Zhejiang University, Robbyant, Ant Group и HKUST представили 4DAnyone — фреймворк для превращения снятого одной камерой видео с участием человека в 4D-модель этого человека, которую можно крутить и смотреть с любой стороны.

Главное:
▪️ Всего модель генерирует 16 ракурсов, согласованных между собой, а по ним уже собирается объёмная сцена в формате 4D Gaussian Splatting.
▪️ По качеству реконструкции 4DAnyone обходит все существующие методы: 24.15 PSNR против 20.55 у ближайшего конкурента на DNA-Rendering и 23.28 против 19.86 на DyMVHumans.
▪️ К нему добавили синтетический SynCamVideo (34 тыс. видео)
▪️ записи настоящей студии DNA-Rendering (51 тыс.)

🔗 Neurohive · Konstantine Mozgovoy #исследования #paper