Что нейросеть на самом деле знает? Google год искал ответ и нашел

Исследователи Google DeepMind год работали над этой работой под названием HOPE.

Они говорят, что нейросети умеют учиться, но мы плохо понимаем что именно они выучили. Обычный способ заглянуть внутрь нейросети - компрессия, но у нее есть 2 больших минуса.

HOPE предлагает другой подход: забыть про веса и смотреть на функцию. Метод работает без единого прогона данных через сеть, вся нужная статистика уже зашита в параметры Batch Normalization.

Практически это даёт 3 вещи:

1. сжатие моделей без доступа к обучающим данным,

2. честное сравнение нейронов из разных слоёв по единой шкале,

3. и что важнее всего на длинном горизонте - инструмент для понимания того, что внутри.

Если прогрессивно сжимать сеть и смотреть, что выживает последним, то это и есть несжимаемое ядро выученного знания.