☑️ مطالعه مروری روشهای بهینه‌سازی مبتنی بر گرادیان نزولی

💡روند تکامل گرادیان نزولی

⬛️ مباحثی که در این پست بررسی می‌کنیم:
    ▪️ یادگیری در شبکه عصبی
    ▫️تابع هزینه و نقش آن در یادگیری
    ▪️فلسفه گرادیان نزولی
    ▫️ محدودیت‌های گرادیان نزولی
    ▪️نرخ یادگیری متغیر با زمان
    ▫️گرادیان نزولی با ترم ممنتوم
    ▪️روش بهینه‌سازی AdaGrad
    ▫️روش بهینه‌سازی RMSprop
    ▪️روش بهینه‌سازی AdaDelta
    ▫️روش بهینه‌سازی Adam

💡PyTorch
🔘 مطالعه در وبسایت
@Onlinebme