Хотя уже прошёл целый год, у меня ещё осталось несколько проектов с епфл, которые публикуются только сейчас — а именно нам приняли статью в TMLR 🎉

Если вкратце, то мы занимались следующей проблемой: 3D Gaussian Splatting сейчас — это де-факто один из самых популярных способов представлять 3D сцены, но если ты хочешь взять объект из одной сцены и вставить его в другую, то результат может выглядеть нереалистично — освещение на объекте просто не совпадает с окружением.

Наш инсайт: диффузионные модели неявно учатся понимать правильное освещение объектов на большом количестве реальных сцен во время обучения. Мы это использовали и научились корректировать освещение вставленного объекта через минимизацию DDS-подобного лосса и оптимизацию параметров 3DGS объекта без всяких environmental maps и прочей боли.

По сути, ключевая идея состоит в том, что итерация DDS пытается увеличить likelihood изображения относительно трейнинг данных. А так как в обучении используются изображения с естественным освещением, то и при итерации DDS мы можем эффективно делать релайтинг объекта.

Я бы сформулировал основную идею так: в диффузионных моделях заложено намного больше неявного знания о физике, которое мы до конца не используем и которое может выражаться всякими интересными способами.

PS: Я попробовал объяснить всё более детально в видосе ниже, please take a look!

🎬 Video: https://youtu.be/g5IGoEqZqKU?is=SUYmq4SvH4vXE97l
📄 Paper: https://openreview.net/forum?id=1jjIitxVmM
🌐 Project page: https://www.norange.io/projects/diff_relight/
💻 Code: https://github.com/sevashasla/D3DR
🔬 Colab: https://colab.research.google.com/github/sevashasla/D3DR/blob/main/notebooks/D3DR.ipynb