GAE от Tencent ARC и HKUST

Геометрический автоэнкодер для генерации миров. Сжимает 3072-канальные геометрические признаки в компактные 128 каналов, из которых декодируются RGB, глубина, траектории камеры и облака точек. Не достраивает геометрию постфактум, а кладет еt внутрь генерируемого латента

• из одного латента - картинка, глубина, позы камеры и 3D одновременно
• управляемый flow matching - текст, референс-кадр и метрические лучи камеры
• обзорные сцены с перемещением камеры, indoor и outdoor
• text-to-image с генерацией 3D-геометрии по одному промпту

• 1B параметров

Латентное пространство работает как общий интерфейс между восприятием и генерацией - один латент, четыре связанных выхода

Гитхаб
HF

#world #vae

MAX