Dense4D

Первая feed-forward модель для плотноой 4D-реконструкции человека по обычным монокулярным RGB-снимкам, без шаблона тела. Imperial College.

• Нужно отслеживать одни и те же точки поверхности через артикуляцию, деформацию и смену видимости
• Существующие методы оставляют несколько смещенных копий тела — по одной на кадр
• Dense4D работает прицельно по человеческой геометрии

Как работает
• Строит Human Point Maps: каждому пикселю человека присваивает 3D-позицию поверхности на общем опорном времени
• Совместно обрабатывает вырезки человека с известными преобразованиями и предсказывает глубину
• Amodal-соответствие: скрытые в опорном кадре точки находятся по другим кадрам
• Совпадение координат HPM даёт соответствие без поз камеры и больших смещений сцены

Лучше совпадает со сканами на 4D-Dress, где опорный кадр видит лишь часть тела

Код ждем

#hmr #video24d

MAX