MeshArt: Generating Articulated Meshes with Structure-Guided Transformers

А теперь бросайте все эти кашеобразные 3Д-генераторы и смотрите сюда.

Авторы не генерят модель целиком, а СНАЧАЛА сегментируют ее на, грубо говоря, bounding boxes, потом смотрят на отношения между соседями, в общем используют трансформеры для "понимания" как устроена иерархическая модель. И только в самом конце аппроксимируют сетку чистой топологией.

MeshArt - подход на основе иерархических трансформеров для создания соединенных 3D-сеток с чистой, компактной геометрией, напоминающей созданные человеком 3D-модели. Мы подходим к созданию сочлененных сеток по частям на двух этапах.

Сначала мы генерируем высокоуровневую структуру объекта с учетом соединения частей; затем, основываясь на этой структурной информации, мы синтезируем грани сетки каждой детали. Ключевым моментом нашего подхода является моделирование структур сочленений и сеток деталей как последовательностей квантованных эмбедингов треугольников, что приводит к созданию единой иерархической структуры с трансформерами для авторегрессионной генерации. Сначала генерируются структуры частей объекта в виде их граничных примитивов и режимов сочленения; затем второй трансформер, руководствуясь этими структурами сочленения, генерирует треугольники сетки каждой части.

Для органики, вероятно, будет неоптимально, а вот для кадоподобных сцен и всяких интер-экстер-еров должно давать хорошую сетку.

Работа от Метачки для CVPR 2025, заслуживает внимания.

https://daoyig.github.io/Mesh_Art/

Поглядите видео внутри, оно говорит само за себя.

Кодищще: https://github.com/DaoyiG/MeshArt

@cgevent