📹Использование Zero-shot и искусственных данных в проектах по компьютерному зрению

С проблемами в данных, наверно, сталкивался каждый ДС в промышленности, да я об этом буквально постоянно пишу и говорю. Но самая большая проблема — отсутствие данных, потому что тогда мы (ДСы) не нужны🙂. При этом отсутствие данных может быть разным: отсутствие разметки, важных признаков, накопленной истории. В технической диагностике частая проблема — отсутствие примеров поломок, то есть разметки. Приходится выкручиваться и придумывать semi-supervised подходы. Но и в задачах компьютерного зрения бывает не хватает прецедентов аномалий/нарушений/пожаров, крч примеров положительного класса. Вот Дима (ex-техлид CV команды еврохима) очень понятно и интересно рассказал про то, как бороться с недостатком данных. Коротко — можно генерить, осталось посмотреть доклад и понять, как технически это делать.

По моему опыту во временных рядах и табличных данных, генерация синтетики не особо хорошо работает. То есть может повысить качество решения задачи, но очень ограниченно. При отсутствии в данных поломок, нагенирировать физически корректные поломки довольно сложно. Аугментация может работать, хотя мб и не так хорошо, как в CV.

Кстати, в докладе еще есть и много информации по инструментам, решающим все типовые задачи в CV, коротко:
• Классификация — CLIP
• Детекция — Grounding DINO, YOLO-world
• Семантическая сегментация — SAM, SAM2, FastSAM, CLIPSeg
• Инстанс-сегментация — Grounded SAM, LangSAM

Но мне понравились рекомендации и подсказки, как стоит собирать пайплайны, например, для инстанс сегментации: Zero-shot детектор➡️SAM. Все на промышленных примерах 🔥. Ну и не зря доклад называется "... Zero-shot ...": Дима акцентирует внимание и рассказывает о том, как эффективно проводить PoC в CV на open-source инструментах с предобученными сетками без лишних затрат. А CV в промышленности очень много...

Напоследок дополню еще одним докладом. Похожим, но с описанием немного других подходов и инструментов.

📎Еще у Димы есть канал на ютубе с очень полезным обучающим контентом (вк версия канала).