🤔 Что такое градиентное затухание?

Градиентное затухание (vanishing gradients) — это проблема, когда в глубоких нейросетях градиенты становятся очень малыми при обратном распространении.
Это мешает обновлению весов в начальных слоях, и обучение "замирает".
Чаще всего возникает в RNN и в сетях с плохой инициализацией или неподходящей функцией активации.

Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚Базу Знаний