🕸چرا Batch Normalization , فرآیند یادگیری در شبکه های عمیق را آسانتر می‌کند؟

⭕️آموزش یک شبکه‌ی عمیق، شبیه به این می‌مونه که یک پیام رو بین بیست نفر دست به دست کنید. اگر هر کدوم از این افراد، یک کم به پیام اضافه یا کم کنند، تا وقتی به نفر آخر می‌رسه، پیام کاملاً عوض شده.

دقیقاً همین اتفاق توی شبکه‌های عصبی می‌افته❕
🕸با هر بار به‌روزرسانی لایه‌های اولیه، توزیع مقادیری که به لایه‌های بعدی می‌رسه، مدام تغییر می‌کنه. در نتیجه، هر لایه مجبوره که هی خودش را با شرایط جدید وفق بده.

نرمال‌سازی دسته‌ای (Batch Normalization) این مشکل را برطرف می‌کنه؛ به این شکل که در حین آموزش، هر دسته (مینی‌بچ) را نرمال می‌کند تا ورودی لایه‌های بعدی، توزیع پایداری‌تری داشته باشد.

🥨نتیجه‌؟
• همگرایی سریع‌تر
• امکان استفاده از نرخ یادگیری بالاتر
• وابستگی کمتر به مقداردهی اولیه‌ی وزن‌ها
• پایداری بیشتر در فرآیند آموزش

#BN
#Learning
#DL
@toobabigdatascience