DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models

Вот прям хорошая работа от канадской Нвидии, оставшаяся незамеченной.

Прежде всего для композа.

Спойлер: кода нет, композера своего у Нвидии нет, так что это все скорее всего для их Omniverse.

Но красиво, обратный рендер получает на входе видос, вытаскивает оттуда глубину и пытается восстановить 3Д-объекты (трекинг?), причем даже с материалами.
А прямой рендер после этого, может перегенерить картинку с:
1. новым освещением
2. другим материалом на объекте
3. и даже вставить новый (свой, 3д из блендора) объект в эту "сцену", то есть в исходное видео.

Прям композкомпоз.

https://research.nvidia.com/labs/toronto-ai/DiffusionRenderer/

@cgevent