ML для обнаружения объектов и сопоставления с каталогом: что нужно знать

Задача часто может звучать так: найти объекты на изображениях и сопоставить их с каталогом. Рассмотрим краткие особенности решения.

В качестве baseline можно использовать foundation-модели Segment Anything и DINOv2: сначала на изображении автоматически генерируются сегментационные предложения, затем каждое из них сопоставляется с заранее отрендеренными CAD-шаблонами, используя сравнение cls-токенов DINOv2.

➡️ На стадии поиска объектов очень важно учитывать учитывать категории сегментации и метрики качества: в задачах сопоставления можно применять эмбеддинговые модели и методики zero-shot классификации, а повышать точность - через активное обучение и автоматическое обновление датасета по ошибочным предсказаниям.

#ML@rtsoftcourses