MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени.

Представлена система плотного SLAM в реальном времени с использованием одной камеры, разработанная на основе MASt3R — приорной модели для реконструкции сцены и сопоставления по двум изображениям. Благодаря использованию этого мощного ML-приора, система сохраняет устойчивость при работе с произвольными видеопоследовательностями из реального мира, не накладывая ограничений на калиброванную или параметрическую модель камеры, за исключением предположения об уникальном центре проекции.

В рамках архитектуры реализованы эффективные алгоритмы сопоставления с картой точек (pointmap matching), трекинга камеры, локального слияния (fusion), построения графа и замыкания петель (loop closure), а также глобальной оптимизации второго порядка.

При наличии калибровки камеры, достаточно минимальной модификации, чтобы достичь state-of-the-art результатов на ряде стандартных бенчмарков. В целом, система представляет собой plug-and-play решение для монокулярного SLAM, обеспечивающее глобально согласованные траектории камеры и плотную 3D-реконструкцию при скорости 15 FPS.


➡️Проект https://edexheim.github.io/mast3r-slam/

➡️Набор моделей https://download.europe.naverlabs.com/ComputerVision/MASt3R/

➡️Arxiv https://arxiv.org/pdf/2412.12392

👉 @bigdata_1