Panoptic Scene Graph Generation

Мы живем в трехмерном пространстве, в то время как движемся вперед через четвертое измерение - время.

Новая модель 4D Panoptic Scene Graph (PSG-4D), для всестороннего понимание 4D-окружения, которое объединяет необработанные визуальные данные, воспринимаемые в динамичном 4D-мире, и визуальное понимание высокого уровня

PSG-4D интерпретирует различные сенсорные данные в формате 4D в узлы, которые представляют объекты с точным местоположением и информацией о статусе объекта, и ребра, которые фиксируют временные отношения.

Чтобы облегчить исследования в этой новой области, разработки выпустили аннотированный набор данных PSG-4D, состоящий из 3K RGB-D видеороликов общим объемом 1 млн кадров, каждый из которых помечен 4D-масками для сегментации, а также детализированными динамическими графиками сцен.

Для решения задачи PSG-4D представлена PSG4DFormer - модель на основе трансформеров, которая может предсказывать маски сегментации, отслеживать маски вдоль оси времени и генерировать соответствующие графики сцен с помощью компонента отношений.

Обширные тесты с новым набором данных показывают, что метод может послужить надежной основой для будущих исследований PSG-4D.

▪Github
▪Paper

@ai_machinelearning_big_data