Исследователи улучшили обнаружение объектов с дронов с помощью графовых нейросетей 🤖

Исследователи из Ханьданьского университета в Китае разработали систему для обнаружения небольших объектов на изображениях с беспилотников и их последующего нанесения на карту. В основе решения лежит модифицированная версия YOLOv7, дополненная графовой нейросетью внимания (Graph Attention Network, GAT). Исследование опубликовано в журнале Discover Artificial Intelligence.

Проблема, которую решают авторы, связана с особенностями съёмки с БПЛА. На изображениях с большой высоты автомобили, люди и другие объекты занимают небольшое количество пикселей, могут частично перекрываться и теряться на фоне городской застройки. Для повышения точности исследователи дополнили YOLOv7 несколькими механизмами обработки признаков, включая SPD-Conv, Coordinate Attention, SimAM и двунаправленную пирамиду признаков BiFPN. Они позволяют сохранять больше информации о небольших объектах и объединять данные, полученные на разных масштабах.

Ключевым элементом системы стала графовая нейросеть. Обнаруженные объекты рассматриваются как узлы графа, а связи между ними формируются с учётом их положения и сходства признаков. Благодаря этому алгоритм учитывает контекст окружающих объектов. Например, информация о расположении и характеристиках соседних целей может помочь системе точнее классифицировать частично закрытый или плохо различимый объект. Для снижения вычислительной нагрузки исследователи ограничили количество рассматриваемых соседей для каждого объекта.

Система также объединяет обнаружение объектов с их пространственным картированием. Данные видеокамеры синхронизируются с информацией GPS и инерциальных датчиков БПЛА, после чего координаты обнаруженных объектов переводятся из изображения в мировую систему координат. Это позволяет не просто определить, что находится в кадре, но и получить информацию о расположении объекта на местности. В тестах на наборах данных VisDrone2019 и UAVDT система достигла показателя 42,6% по метрике mAP при пороге совпадения 50% и скорости обработки 65 кадров в секунду на видеокарте NVIDIA RTX 3090. По сравнению с базовой версией YOLOv7 точность выросла на 4,8 процентного пункта.

Авторы рассматривают технологию как основу для систем компьютерного зрения, работающих непосредственно с данными БПЛА. Такой подход может использоваться для мониторинга городской среды, дорожной инфраструктуры, крупных территорий и других объектов, где необходимо одновременно обнаруживать цели и определять их положение. В дальнейшем исследователи планируют адаптировать построение графов под различные условия съёмки, добавить данные LiDAR и RTK-GPS и оптимизировать модель для работы на бортовых вычислительных устройствах.