Сейчас будет длинный, но интересный пост про ИИ. Когда нейросеть распознаёт образ, она не видит "образы" в привычном для нас смысле. Нейросеть - это черный ящик. Внутри него находятся несколько слоёв коэффициентов ("нейронов"), которые определенным образом меняются в зависимости от того, что подают на вход. Допустим, мы научили нейросеть распознавать лошадей, показав ей несколько миллионов фото. Если теперь подать на её вход любое изображение, нейросеть преобразует его в многослойный набор коэффициентов и сравнит с теми наборами, которые получались, когда ей показывали лошадей.

"Лошадь" или любой другой образ для нейросети - это не картинка, а набор чисел. И вот здесь начинается интересное. Потому что образ "страус" может преобразовываться внутри нейросети в очень похожий набор чисел. И если, зная это, совсем немного подправить изображение лошади (изменение будет даже незаметным для человека), нейросеть вместо лошади распознает страуса. Или любой другой образ. Для этого даже не надо знать, как нейросеть устроена внутри - её можно обмануть не открывая "чёрный ящик", просто показывая картинки и записывая её реакцию.

Вот подробная статья в Popular Science с иллюстрациями, не поленитесь посмотреть. Вжух - и нейросеть видит вместо здания страуса, вместо панды - обезьяну, а вместо одних дорожных знаков - совсем другие. Исследуют это всё в целях безопасности, а один из заказчиков исследования - армия США.
http://www.popsci.com/byzantine-science-deceiving-artificial-intelligence

Подобным атакам подвержены и системы распознавания речи. Учёные разработали специальные голосовые команды, которые для человеческого уха звучат как белый шум, но при этом голосовые ассистенты (вроде Siri или Google Now) их слышат и распознают. Встроив скрытую команду в выпуск радио, ТВ, или в Youtube-ролик, злоумышленнники могут направить людей на вредоносный сайт, украсть их личные данные или деньги. Это не фантастика: недавно в Техасе домашние устройства Alexa некоторых телезрителей отреагировали на голосовую команду, которую произнёс ведущий местной передачи. Правда, мой смартфон эти команды не распознал. Но на деморолике всё работает, посмотрите: http://www.hiddenvoicecommands.com/demo

Подробнее: https://www.theatlantic.com/technology/archive/2017/01/the-demon-voice-that-can-talk-to-your-smartphone/513743/

Посты по теме:

В чём проблема "чёрного ящика" ИИ и как её можно решить:
https://t.me/brodetsky/608, https://t.me/brodetsky/510

Как исследователи научились копировать алгоритмы машинного обучения из "черного ящика": https://t.me/brodetsky/565

Как работает перенос стиля с помощью нейросетей в приложениях вроде Prisma:
https://t.me/brodetsky/642