⚡️ FLoD

Интеграция гибкого уровня детализации в 3D Gaussian Splatting для настраиваемого рендеринга

3D Gaussian Splatting (3DGS) позволяет добиться быстрой и качественной визуализации за счет использования множества мелких гауссианов, что приводит к значительному расходу памяти. Такая зависимость от большого количества гауссианов ограничивает применение моделей на основе 3DGS на слабых устройствах из-за нехватки памяти.

Однако простое уменьшение числа гауссианов для работы с устройствами с меньшим объемом памяти приводит к ухудшению качества по сравнению с качеством, которое может быть достигнуто на высокопроизводительном оборудовании.

Чтобы решить эту проблему нехватки масштабируемости, в данном методе предлагается интегрировать в 3DGS гибкий уровень детализации (FLoD), который позволит визуализировать сцену с разным уровнем детализации в зависимости от возможностей оборудования.

В то время как существующие 3DGS с LoD сосредоточены на детальной реконструкции, данный метод обеспечивает реконструкцию с использованием небольшого числа гауссианов для снижения требований к памяти и большего числа гауссианов для повышения детализации сцен.

Эксперименты демонстрируют различные варианты рендеринга с компромиссами между качеством рендеринга и использованием памяти, что позволяет осуществлять рендеринг в реальном времени при различных ограничениях памяти. Кроме того, здесь показано, что метод обобщается на различные фреймворки 3DGS, что указывает на его потенциал для интеграции в будущие современные разработки.

https://huggingface.co/papers/2408.12894

@machinelearning_ru