🎓 — Семинар 25. Использование данных бортовых радаров и камер для распознавания объектов на дороге и бездорожье | Ульяна Изместьева, Лука Ветошкин, Ольга Матыкина

В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.

Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.

В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #selfdriving #multimodal #diffusion