🧠 معماری MoE قسمت چهارم؛ چرا بعضی Expertها هیچ‌وقت یاد نمی‌گیرن؟

تو قسمت سوم، فهمیدیم Router با الگوریتم Top-k فقط چند Expert رو برای هر ورودی فعال می‌کنه.
اما اگه همیشه فقط همونا انتخاب بشن چی؟ اینجاست که MoE با یه مشکل جدی روبه‌رو می‌شه! ⚠️

⚖️ همه Expertها فرصت برابر ندارن!

تو معماری MoE، بعضی Expertها زیاد انتخاب می‌شن و دائم آموزش می‌بینن.
ولی خیلی‌های دیگه... تقریباً هیچ‌وقت فعال نمی‌شن و ضعیف باقی می‌مونن!
نتیجه؟
▪️ بخشی از مدل بلااستفاده می‌مونه
▪️ بعضی Expertها بیش‌از‌حد تخصصی می‌شن
▪️ مدل دچار overfitting یا بی‌تعادلی می‌شه

🛠️ چطوری جلوی این ناعادلانگی رو بگیریم؟

🔹 تابع خطای متعادل‌کننده:
یه term به تابع‌خطا اضافه می‌کنن تا Router مجبور شه بین همه Expertها توزیع عادلانه‌تری بده.

🔹 نویز کنترل‌شده:
اضافه کردن کمی نویز به امتیازهای Router باعث می‌شه Expertهای مهجور هم یه شانس پیدا کنن.

🔹 استفاده از معماری Switch:
بعضی مدل‌ها (مثل Switch Transformer) فقط یک Expert برای هر ورودی فعال می‌کنن → ساده‌تر، سریع‌تر، ولی با tradeoff دقت.

🔎 در قسمت بعدی، می‌ریم سراغ مدل‌های واقعی مثل Switch Transformer و GShard تا ببینیم این ایده‌ها در عمل چه شکلی پیدا کردن.

📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@