WorldSculpt: модель собирает 3D-сцену с сотнями отдельных объектов из видео

Alaya Lab и Токийский университет представили открытую модель, которая строит 3D-копию комнаты или улицы, где каждый предмет остаётся самостоятельным мэшем. Стул можно выделить, отодвинуть, уронить в физическом движке. Существующие подходы либо склеивают сцену в один кусок геометрии, либо оставляют дыры там, где предмет закрыт другим. Код модели опубликован на Github, веса - на HuggingFace.

Из отснятого помещения получается сцена в Blender или Unity, где мебель существует по отдельности: диван можно убрать, стол подвинуть, лампу заменить другой моделью. Для игр так собирают уровни из реальных интерьеров. В AR приложение начинает понимать, что перед ним стол, а не безымянная поверхность. Дизайнеру интерьеров такая сцена даёт готовый набор ассетов вместо цельной болванки. Роботы могут отработать захват кружки в симуляторе, где кружка должна быть отдельным телом с массой и границами, а не выступом на общей стене.

WorldSculpt - это надстройка над Pixal3D. Веса исходного генератора одиночных объектов заморожены, обучены только LoRA-адаптеры и слои, которые позволяют смотреть на предмет сразу с нескольких ракурсов. То, что скрыто на одном кадре, берётся с другого, поэтому модель не выдумывает закрытые части, а собирает их из реальных наблюдений.

Модель должна знать, откуда и под каким углом снят каждый кадр, а ещё получить маски объектов и грубые 3D-боксы. Для этого нужно построить пайплайн: траекторию камеры восстановит COLMAP или VGGT, маски даст SAM3, и только после этих шагов запускается WorldSculpt.

Авторы собрали свой набор тестовых сцен UE-MeshyScene, в самой плотной из них 701 объект. Качество меряют метрикой CD-ℓ2: она показывает, насколько сильно построенная поверхность расходится с настоящей, поэтому чем меньше число, тем точнее результат. У ближайшего конкурента ShapeR средняя ошибка составляет 7.42, у WorldSculpt 2.48. Медианная ошибка по объектам упала сильнее: с 2.47 до 0.25. Раз медиана улучшилась заметнее среднего, выигрыш дают не отдельные удачные предметы, а типичный объект в сцене. Доля правильно восстановленной поверхности (F-Score) выросла с 0.813 до 0.951.

#Stateoftheart #Benchmark