🔥Новая SOTA: Mask DINO для обнаружения и сегментации объектов 🦖

CNN-сети и трансформерная архитектура активно используется в задачах компьютерного зрения, особенно для обнаружения и сегментации объектов на фото и видео. В последнее время трансформерные архитектуры показывают отличные результаты. Одной из них является DETR (End-to-End Object Detection with Transformers), который вышел в мае 2020 года. Тут трансформеры применяются не к изображению, а к фичам, выделенным сверточной сетью. Хотя DETR открыл путь к возможности использования трансформеров для компьютерного зрения, его тяжело использовать на практике из-за слишком долгого времени обучения и отсутствия универсальности. В июне 2022 года исследователи из Китая представили Mask DINO - унифицированную структуру обнаружения и сегментации объектов.
По сути, Mask DINO можно назвать новым state-of-the-art (SOTA) решением, которое расширяет структуру DINO (DETR с улучшенными блоками привязки шумоподавления), добавляя ветвь предсказания маски. Маска поддерживает все задачи сегментации изображения (инстанс, семантическую и паноптическую). Некоторые ключевые компоненты DINO расширены для сегментации за счет общей архитектуры и процесса обучения.
Структура Mask DINO проста, эффективна, масштабируема и выигрывает от объединенных крупномасштабных наборов данных обнаружения и сегментации.
Примечательно, что Mask DINO показывает наилучшие на сегодняшний день результаты по инстанс сегментации (54,5 AP на COCO), паноптической сегментации (59,4 PQ на COCO) и семантической сегментации (60,8 мМЕ на ADE20K).
📃 Полное описание в статье авторов: https://arxiv.org/pdf/2206.02777v1.pdf
🐈‍⬛ Код на Github: https://github.com/IDEACVR/MaskDINO