3Д Диффузки для генерации 3Д сцен с гауссианами

Ребята из TUM показали свою новую работу, примечательную тем, что диффузная сеть работает в трехмерном латентном пространстве, из которого далее декодируются гауссианы через vector-quantized variational autoencoder (VQ-VAE). Формально можно сделать тоже самое и с треугольниками с pbr материалами

Учитывая возросшие косты на разработку игр, имхо работа очень актуальна!

Но вопрос скалируемости + костов на исполнение. 3Д конволюции это довольно дорогое удовольствие по моему опыту и быстро упирается в VRAM Bandwidth

#графон #ии #статья