Снятся ли трансформерам электроовцы?

В 2015 Google выкатила DeepDream, и картинки, где облака прорастают собачьими мордами, разошлись по Интернету как отдельный визуальный стиль. Но за этими картинками исследователей занимало другое — возможность заглянуть внутрь нейросети и понять, что происходит между входной фотографией и списком вероятностей на выходе.

Метод усиливает те участки изображения, на которые сильнее реагируют внутренние сигналы модели. И когда так визуализировали класс «гантель», рядом с ней раз за разом появлялись человеческие руки. Сеть фактически выучила гантель вместе с рукой, которая её держит, потому что на обучающих фото гантели почти всегда держат руками.

Рука не часть гантели, но для модели связь оказалась полезной. И это тот самый случай, когда высокая точность ещё не говорит, что задача решена так, как задумал человек.

Разберёмся, что видит сеть в облаках и почему её внутреннее устройство так тяжело читать.