Простые визуальные узоры могут вводить в заблуждение системы машинного зрения беспилотных автомобилей и роботов
 
Исследователи Университета Флориды обнаружили уязвимость в системах компьютерного зрения, которые используют автономные автомобили, дроны и роботы для оценки расстояния до объектов. Оказалось, что даже простые повторяющиеся черно-белые узоры могут заставить систему неверно определить глубину сцены и расстояние до препятствия.
 
Проблема касается систем со стереокамерами — двумя камерами, расположенными рядом и используемыми для оценки глубины по разнице между изображениями. Для расчета расстояния могут применяться как традиционные алгоритмы, так и модели искусственного интеллекта.
 
Исследователи выяснили, что оба подхода уязвимы перед повторяющимися визуальными элементами — например, полосами, клетками или регулярно расположенными объектами. Такие узоры способны заставить систему воспринимать препятствие как находящееся ближе или дальше, чем оно расположено на самом деле.
 
Причем для возникновения ошибки не обязательно требуется намеренная атака. Руководитель исследования Сара Рампацци отмечает, что подобные узоры могут встречаться и в обычной городской среде, поэтому речь идет не только о киберугрозе, но и о потенциальной проблеме безопасности.
 
В одном из экспериментов исследователи проецировали клетчатый узор на заднюю часть автомобиля. Система машинного зрения беспилотного автомобиля начинала воспринимать часть машины как находящуюся значительно ближе, чем в действительности. В реальной эксплуатации такая ошибка могла бы привести, например, к неожиданному автоматическому торможению.
 
Резкое торможение автономного автомобиля без объективной причины может создать опасную ситуацию для машин, следующих сзади. В случае дрона или наземного робота ошибка в оценке расстояния способна привести к резкому маневру или столкновению.
 
Команда проверила несколько типов сенсоров, алгоритмов и ИИ-моделей и обнаружила один и тот же базовый тип уязвимости. Это означает, что проблема не ограничивается конкретным производителем оборудования или отдельной программной платформой.
 
Исследователи также показали, что для воздействия на систему необязательно покрывать узором весь объект или большую часть сцены. В некоторых случаях достаточно небольшого, правильно расположенного участка с повторяющимся рисунком.
 
Команда предложила способы защиты. Для традиционных алгоритмов оценки глубины разработали программное изменение, которое позволяет распознавать ситуации с повторяющимися узорами и не выбирать ошибочное значение расстояния.
 
Для ИИ-систем исследователи изменили сами модели так, чтобы те иначе реагировали на подобные визуальные структуры. Такой подход отличается от простого расширения обучающей выборки: вместо добавления все новых примеров потенциально опасных узоров разработчики пытаются устранить сам механизм возникновения ошибки.
 
Предложенные меры протестировали как в симуляциях, так и на реальном автомобиле и сенсорах на закрытом полигоне Университета Флориды.
 
Авторы работы считают, что исследование показывает более широкую проблему: по мере того как искусственный интеллект все активнее используется для восприятия физического мира, важно анализировать не только сами ИИ-модели, но и уязвимости базовых сенсорных и вычислительных систем, на которых они работают.