🏆 R5DGS - это фреймворк четырехмерной реконструкции динамических сцен. Метод сочетает в себе семантическую осведомленность, возможность физически-правдоподобной экстраполяции состояний объектов во времени и эффективность инференса.

Мы развиваем идеи TRACE и добавляем то, чего ему не хватало: объектный уровень понимания сцены и ускорение предсказания будущих кадров.

Ключевые идеи:
🔹 Identity Encoding для каждой гауссианы - компактные векторы и обучаемый поверх них классификатор позволяют сгруппировать гауссианы в объекты после обучения.
🔹 Прогнозирование на объектном уровне - вместо предсказания физических параметров для десятков тысяч гауссиан мы интегрируем динамику только для центроидов объектов и распространяем движение жёсткими преобразованиеми.
→ Это даёт +11 FPS при экстраполяции будущих кадров без потери физической правдоподобности траекторий.
🔹 Решение задачи визуальной привязки по текстовому запросу - с помощью сопоставления CLIP эмбеддингов запроса и каждого из объектов в сцене можно извлечь соответствующую группу гауссиан и рендерить объект в любой момент времени и с любой камеры.

В итоге мы получаем 4D-представление сцены, которое:
- предсказывает будущее поведение объектов,
- работает эффективнее за счёт объектного уровня динамики,
- поддерживает текстовое управление без дополнительного обучения.

Это шаг к управляемым, физически-консистентным 4D цифровым двойникам для робототехники, автономного транспорта и дополненной реальности.

🤝 Команда: Денис Гридусов (бакалавр), Максим Попов (аспирант) и Сергей Колюбин

👨‍💻 Страница проекта

🎓 Препринт

🗣 Где расскажем: ICRA 2026 Workshop on Semantics for Reliable Robot Autonomy: From Environment Understanding and Reasoning to Safe Interaction

🏛 Другие проекты нашей лабы