👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science