🗂 Синяя таблетка для нейросетей, или Как создать достоверную «Матрицу»

На связи Виктор Юрченко, я руковожу командой симуляции сенсоров в автономном транспорте. Недавно мы вместе с исследовательским отделом Яндекса разработали метод симуляции движения по дорогам MADrive. Для его работы мы собрали датасет MAD-Cars: источником данных стали панорамные 3D-съёмки пользователей Авто.ру, которые они делают, когда размещают объявления.

🚗 Зачем нужны симуляции

Мы проводим масштабные тесты моделей, которые закладываем в логику автономного транспорта. На этом этапе симуляции экономят время и деньги: с ними не нужно ездить по дорогам сотни тысяч реальных часов, чтобы получить статистически значимые результаты. А ещё с их помощью можно отрабатывать нестандартные дорожные ситуации, не подвергая никого опасности.

🚗 Почему мы разработали собственный метод

Существующие подходы вроде StreetGS, AutoSplat и HUGS нам не подходят: они всего лишь дословно повторяют реальные проезды транспорта. Поэтому при попытке изменить вид объекта, ракурс камеры или сценарий движения сцена разваливается. Результат перестаёт быть фотореалистичным, и синтетические данные теряют ценность.

🚗 Зачем нам понадобился свой датасет

Есть подходы, при которых в воссозданный из проезда мир и окружение можно добавлять модели автомобилей из внешних баз. Это решает проблему генерации моделей машин в ракурсах, которых не было в исходном проезде. Но появляется много вопросов к качеству самих баз данных.

🚛 Что мы сделали

Собрали и выложили в открытый доступ датасет MAD-Cars. Он состоит из 70 тысяч 360-градусных видеозаписей реальных автомобилей.

Ещё в MADrive мы научились воссоздавать качественную 3D-модель автомобиля и вставлять её в реконструкцию реального видео. В том числе с учётом правильных освещений и текстур.

Поэтому, даже если модель машины перекрыта или её плохо видно, мы можем работать устойчиво. А итоговые сцены в симуляторе выглядят естественно для perception-систем автономного автомобиля.

⏩️ Подробности читайте в статье на Хабре. Внутри: модели и алгоритмы, метрики и методология тестирования метода.

Подписывайтесь:
💬 @Yandex4Developers