Заметки @ftsarev, 10+ лет в хедж-фондах, чемпион мира по программированию
Notes by @ftsarev, 10+ years in quant hedge funds, World Champion in Programming (ACM ICPC)
Nothing in this blog is the opinion of my employer
Post #261
392
Испорченный телефон?
В книге The Infinity Machine параллельно с историей DeepMind рассказывается краткая история развития Deep Learning. В том числе упоминается и архитектура ResNet (residual network), которая решила проблему затухающего градиента (vanishing gradient).
Автор приводит аналогию с игрой в «испорченный телефон». Слои нейронной сети передают по цепочке сигнал о том, как надо обновить ее параметры - и как в игре в сигнал вносится шум.
Хочу придраться к деталям. Шума, как раз в реальном процессе обучения нейронной сети никакого нет - каждый слой обновляет сигнал математически верно. Но из-за применения правила производной сложной функции, чем дальше мы уходим от последнего слоя сети к первому, тем меньше по абсолютной величине становится сигнал. То есть слышат все идеально точно, но говорят все тише и тише!
#книги
#deeplearning
#ai
https://en.wikipedia.org/wiki/Vanishing_gradient_problem
Подписаться на канал https://t.me/rybasharp
Wikipedia Vanishing gradient problem machine learning model training problem of greatly diverging gradient magnitudes between earlier and later layers encountered when training neural networks with backpropagation В книге The Infinity Machine параллельно с историей DeepMind рассказывается краткая история развития Deep Learning. В том числе упоминается и архитектура ResNet (residual network), которая решила проблему затухающего градиента (vanishing gradient).
Автор приводит аналогию с игрой в «испорченный телефон». Слои нейронной сети передают по цепочке сигнал о том, как надо обновить ее параметры - и как в игре в сигнал вносится шум.
Хочу придраться к деталям. Шума, как раз в реальном процессе обучения нейронной сети никакого нет - каждый слой обновляет сигнал математически верно. Но из-за применения правила производной сложной функции, чем дальше мы уходим от последнего слоя сети к первому, тем меньше по абсолютной величине становится сигнал. То есть слышат все идеально точно, но говорят все тише и тише!
#книги
#deeplearning
#ai
https://en.wikipedia.org/wiki/Vanishing_gradient_problem
Подписаться на канал https://t.me/rybasharp
- 👍 5
- ❤ 2
- 💯 1







