Neural Fields meet Explicit Geometric Representations for Inverse Rendering of Urban Scenes (статья)

Разобрался тут с новым ИИ-рендер движком от Nvidia, который позиционируется как окружение для тренировки беспилотных авто

Я бы сказал, что фактический мы можем наблюдать "классический" рендер с deferred shading-ом, но с парочкой различий:
- первичные поверхности мы находим через трассировку SDF и далее экстрактим surface properties (albedo, normal etc) c помощью сетки типа InstantNGP

- каждые 20 итераций преобразуем SDF в мешку, используя Marching Cubes. далее полагаясь на RTX пускаем 512 вторичных лучей для шейдинга поверхности на основе инвайромент мапы. естественно без GI 😢

из интересного как всегда танцы с бубном с регуляризацией из-за ill-posed проблемы: "это у нас albedo около 1.0 или же солнце сильно светит?" - вечный вопрос (но похожее мы видели и ранее)

имхо, это просто отличный кейс, доказывающий что рендер-скиллы можно применять не только для игр\кино. рекомендую кому последнее наскучило 👍