🔥3D Gaussian Splatting for Real-Time Radiance Field Rendering

На видео - результат работы алгоритма, использующего снимки с дрона для реконструкции 3D сцены. Можно летать в ней риал-тайм.

Это стало возможным благодаря тому, что недавно переизобрели новый "старый" метод нейронного рендеринга.

Что такое Гаусовские Сплаты, простыми словами:
Используя видео с помощью Structure from Motion (COLMAP) извлекается облако точек, затем по облаку инициализируется набор маленьких полупрозрачных гауссиан. Эти гауссианы затем оптимизируются чтобы после рендеринга максимально точно восстанавливать оригинальные кадры. Все, ваша 3д-сцена готова.

То есть это никакой не Nerual Radiance Field. Тут все гораздо проще. За счет простоты эта штука и обучается, и рендерится довольно быстро. А назвал я этот метод новым "старым", потому что это до боли напоминает работу 2019 года Neural Point-Based Graphics (я писал о нем тут), где похожим образом для каждой точки обучался небольшой плоский элипсоид.

Сайт проекта
Код (можно запустить на своих cценах)

#ликбез
@ai_newz