Sonar-MASt3R: технология подводного картографирования от MIT

Подводные роботы сталкиваются с фундаментальной проблемой: во время работы на морском дне они поднимают облака осадка, которые делают бортовые камеры практически бесполезными и существенно затрудняют ориентацию робота в пространстве. Исследователи из Массачусетского технологического института (MIT) и Океанографического института Вудс-Хоул разработали метод Sonar-MASt3R, который объединяет визуальные данные оптических камер и акустические данные сонаров, позволяя создавать трёхмерные карты окружающей среды в реальном времени даже при высокой мутности воды.

Оптические камеры обеспечивают детальное изображение окружающего пространства, но эффективно работают исключительно в чистой и хорошо освещённой воде. Сонары сохраняют работоспособность в любых условиях, анализируя время возврата акустических сигналов и угол их отражения для определения расстояния, формы и контуров объектов, однако их карты лишены визуальных деталей. Новый метод объединяет преимущества обоих подходов, подобно сочетанию эхолокации дельфина и зрения морской черепахи.

В основе метода лежит алгоритм MASt3R, который анализирует визуальные изображения и в реальном времени восстанавливает относительную геометрию сцены, но не способен самостоятельно определить абсолютный масштаб пространства. Сонар устраняет эту неоднозначность, предоставляя данные о расстоянии до объектов, благодаря чему система получает корректный масштаб и строит точные трёхмерные карты.

Процесс построения карты происходит следующим образом. Сначала роботизированная рука с закреплёнными на ней камерой и сонаром выполняет сканирование окружающего пространства. Система создаёт грубую сонарную карту контуров и форм объектов, которая используется для навигации. После того как робот подходит достаточно близко к опредленной точке в пространстве, оптическая камера фиксирует объекты с высокой детализацией. Для оптимизации используется метод ключевого кадра, при котором каждый новый кадр сравнивается с предыдущим ключевым, и если он содержит новую информацию, то он добавляется в карту, а если дублирует уже известные данные, то система его игнорирует.

Испытания проводились в лабораторном резервуаре при восьми уровнях мутности. Внутри были размещены небольшой валун, кофейная кружка и упаковочный ящик. Даже когда оптические камеры не могли видеть сквозь плотную суспензию, сонарные сенсоры формировали грубую карту скрытых объектов, позволяя роботизированной руке безопасно приближаться к целям для последующей детальной съёмки.

Авторы отмечают, что лабораторный резервуар работает как эхо-камера, создавая ложные отражения и искажения, которые усложняют обработку данных. В естественной подводной среде таких помех меньше, поэтому система будет работать надёжнее. В перспективе технология может применяться для научных исследований, подводного строительства, инспекции инфраструктуры, поисково-спасательных операций и обезвреживания опасных объектов на морском дне.

Полная научная статья доступна на arXiv.

Наш канал в Max