اول معماری Mixture of Experts (MoE) با پراکندگی (Sparsity) بالا:

یادآوری MoE: مثل اینه که یک تیم بزرگ از خبرگان داشته باشیم. هر کدوم از این خبرگان در یک زمینه خاص مهارت دارن.

وقتی یک سوال یا وظیفه جدید به این تیم داده می‌ شه، فقط چند تا از متخصص ‌هایی که بیشترین ارتباط رو با اون سوال دارن، فعال می‌ شن و بقیه در حالت استراحت باقی می ‌مونن.

این کار باعث می‌ شه که بتونیم مدل‌ های خیلی بزرگ و پیچیده‌ای رو بسازیم، بدون اینکه نیاز باشه همه‌ ی بخش‌های مدل همیشه فعال باشن.

 بلاگ زیر به صورت فنی-بصری ترکیب خبرگان در مدل های زبانی رو به تفضیل و به بهترین شکل ممکن توضیح میده:

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts
 
حالا سوال اینجاست که نوآوری DeepSeek کجاست و چیکار کرده، چون گوگل چند سال پیش در حال توسعه‌ مجموعه‌ ای از مدل ‌ها بود، که با Switch Transformer در سال ۲۰۲۱ شروع شد. 

در واقع تیم DeepSeek اومدن تعداد خبرگان رو خیلی زیاد کردن (۲۵۶ تا)، اما در عین حال، تعداد خبرگانی که برای هر وظیفه فعال می ‌شن رو خیلی کم نگه داشتن (فقط ۸ تا).

به این میگن "پراکندگی بالا High Sparsity" یعنی از بین اون همه متخصص، فقط تعداد خیلی کمی فعال میشن.

این خیلی با مدل‌ های دیگه فرق داره، در مدل‌های دیگه، معمولاً از بین ۸ تا متخصص، ۲ تاشون فعال میشن اگه اشتباه نکنم توی مدل متن باز mixtral 8x7b این کار انجام شد اماDeepSeek اومده این نسبت رو خیلی تغییر داده.

اما چرا این کار رو کردن؟ خوب این کار چند تا فایده داره:

✅ اول این کار باعث افزایش ظرفیت مدل میشه. با داشتن تعداد خیلی زیاد متخصص، مدل میتونه اطلاعات و دانش خیلی بیشتری رو در خودش ذخیره کنه.

✅ مزیت دوم کاهش محاسبات هست، چون فقط تعداد کمی از خبرگان فعال میشن، حجم محاسباتی که برای هر وظیفه انجام میشه، خیلی کمتره. این به DeepSeek کمک میکنه که بتونه با سخت ‌افزار محدودتر، مدل‌ های بزرگتری رو آموزش بده.

ادامه دارد...