​​Если вы правильно распознаёте объкты на этих фото — вы круче ИИ

Алгоритмы компьютерного зрения всё ещё далеки от совершенства, несмотря на впечатляющие достижения последних лет. Немного изменив исходное изображение, можно заставить нейросеть видеть в нём совсем другой объект — к примеру, страуса вместо панды или один дорожный знак вместо другого. В этом посте я писал о таких "атаках" на нейросеть подробнее. Нейросеть можно обмануть, повернув фото объекта, изменив всего один пиксель и даже с помощью физического объекта: вот, к примеру, нейросеть видит вместо черепашки пистолет.

Даже самые крутые алгоритмы компьютерного зрения находятся на детском уровне развития по сравнению с человеком. Они не оперируют понятием "объекта", они не понимают, что им показывают — они сравнивают свойства изображения со свойствами картинок, которые им показывали при обучении.

Из-за этого нейросети могут поставить в тупик даже обычные фотографии без всякого подвоха. Американские исследователи собрали датасет из 7500 таких изображений (статья на Arxiv). Программы не могут правильно распознать объекты на этих фото: путают свет и тень, объект и фон или ключевой объект с второстепенным. К примеру, принимают кормушку за птицу, потому что в обучающем датасете были фото с кормушками. Этот датасет может помочь разработчикам лучше понять, как именно их алгоритмы ошибаются и как их можно улучшить.

Бонус: атлас активаций — интересная визуализация внутренних состояний нейросети при распознавании объекта.