نرخ یادگیری؛ اندازه قدم‌ها برای اصلاح

وقتی وزن‌ها رو تغییر می‌دیم، باید میزان تغییر رو کنترل کنیم. این همون چیزی‌یه که بهش می‌گیم نرخ یادگیری (η):

⚫️اگه زیاد باشه شبکه ممکنه مسیر رو اشتباه بره و نره سر جای درست.

⚪️اگه کم باشه آموزش خیلی آهسته پیش می‌ره

روش‌های مدرن مثل Adam یا RMSProp این مقدار رو به صورت هوشمند تنظیم می‌کنن تا هم سرعت مناسب باشه هم پایدار.

The Learning Rate — The Dial of Progress

When updating weights, we don’t apply the raw gradient. We multiply it by a small constant: the learning rate (η).

Too high → the network overshoots, oscillates, or fails to converge.

Too low → training crawls, maybe never reaching a good solution.

Tuning the learning rate is both an art and a science. Modern optimizers (Adam, RMSProp, etc.) adapt it dynamically.

🦴 @scopeofai | #concepts