گرادیان چی هست اصلا؟


گرادیان تو یادگیری عمیق همون جهت و اندازه‌ی شیبِ خطاست.
یعنی به ما می‌گه اگه وزن‌های شبکه رو یک ذره کم یا زیاد کنیم، خطا چطور تغییر می‌کنه. مدل بعد از هر بار پیش‌بینی، خطا رو حساب می‌کنه و با گرفتن گرادیان می‌فهمه برای کمتر کردن این خطا باید وزن‌ها رو به کدوم سمت حرکت بده.

هرچی مقدار گرادیان بزرگ‌تر باشه یعنی خطا نسبت به اون وزن حساس‌تره و باید تغییر بیشتری بدیم، هرچی کوچک‌تر باشه یعنی نزدیکیم به نقطه‌ای که خطا کمینه‌ست.

کلِ فرایند یادگیری درواقع همین دنبال کردن و درس گرفتن از گرادیانه تا شبکه کم‌کم بهتر و دقیق‌تر بشه.

Gradients are essentially vectors of partial derivatives of the neural network's loss function concerning its weights and biases. The loss function quantifies the difference between the predicted output of the neural network and the actual target values

🦴 @scopeofai | #concepts