#exploding_gradient #wiki #uzbekdevs

Exploding gradient

Neuronlar tarmog'ini o'qitishda gradient qiymatlari haddan tashqari ortib, model parametrlarining beqarorlashishiga olib keladi. Bu holat asosan chuqur tarmoqlar va uzun ketma-ketliklar bilan ishlovchi RNN tizimlarida uchraydi. Muammoni hal qilish uchun gradient clipping, learning rate'ni kamaytirish va layer normalization usullari qo'llaniladi.

👉 uzbekdevs.uz/wiki/exploding-gradient

uzbekdevs.uz / @uzbekdevs