В AIRI и МФТИ представили метод 3DGraphLLM для расширения возможностей LLM при работе с трехмерным пространством

Он учитывает пространственные и смысловые взаимосвязи элементов внутри помещения, что улучшает обработку сложных интерьеров, где объекты находятся близко друг к другу и образуют плотные композиции.

Специалисты подчеркивают, что большинство современных подходов, основанных на LLM, используют двумерные изображения, упуская трехмерную структуру пространства, или работают с необработанными облаками точек, игнорируя смысловое взаимодействие предметов. Из-за этого алгоритмы способны определить наличие стула и стола, однако не осознают факт, что стул расположен именно возле стола и предназначен для сидения.

Обучение модели происходило на больших датасетах — ScanNet, 3RScan, которые содержат точные реконструкции реальных помещений, и расширенных наборах данных — ScanRefer и Multi3DRefer, содержащих текстовые запросы к реконструированным сценам.

На данный момент ведутся работы по интеграции метода в реальные робототехнические платформы.

🔗Источник: https://airi.net/ru/blog/rossiyskie-issledovateli-nauchili-yazykovye-modeli-ponimat-slozhnye-trekhmernye-stseny/