Испорченный телефон?

В книге The Infinity Machine параллельно с историей DeepMind рассказывается краткая история развития Deep Learning. В том числе упоминается и архитектура ResNet (residual network), которая решила проблему затухающего градиента (vanishing gradient).

Автор приводит аналогию с игрой в «испорченный телефон». Слои нейронной сети передают по цепочке сигнал о том, как надо обновить ее параметры - и как в игре в сигнал вносится шум.

Хочу придраться к деталям. Шума, как раз в реальном процессе обучения нейронной сети никакого нет - каждый слой обновляет сигнал математически верно. Но из-за применения правила производной сложной функции, чем дальше мы уходим от последнего слоя сети к первому, тем меньше по абсолютной величине становится сигнал. То есть слышат все идеально точно, но говорят все тише и тише!

#книги
#deeplearning
#ai

https://en.wikipedia.org/wiki/Vanishing_gradient_problem

Подписаться на канал https://t.me/rybasharp