مهم‌ترین نوآوری‌هاش توی معماری و آموزشه:

اول، معماری:
یک مکانیزم Zero-Computation Experts معرفی شده. این یعنی یه سری از اکسپرت‌ها عملاً هیچ کاری نمی‌کنن و ورودی رو مستقیم به خروجی می‌دن. اینطوری مدل یاد می‌گیره برای توکن‌های ساده‌تر، منابع محاسباتی مصرف نکنه و فقط روی توکن‌های پیچیده‌تر تمرکز کنه. به همین دلیله که تعداد پارامترهای فعالش داینامیکه و به طور میانگین حدود ۲۷ میلیارد پارامتر فعال داره. این یه بهینه‌سازی خیلی هوشمندانه برای کاهش FLOPS هست.

دوم، Shortcut-connected MoE یا ScMoE:
توی مدل‌های MoE بزرگ، گلوگاه اصلی معمولاً ارتباطات بین GPUها برای all-to-all هست. اینجا با یه اتصال شورتکات، کاری کردن که محاسبات لایه‌ی dense FFN قبلی با ارتباطاتِ MoE لایه‌ی فعلی همپوشانی داشته باشه. این کار پنجره‌ی computation-communication overlap رو بزرگ‌تر می‌کنه و هم سرعت ترینینگ و هم سرعت اینفرنس رو به شدت بالا می‌بره.

سوم، استراتژی‌های اسکیلینگ و پایداری:
برای پایدار کردن آموزش در این مقیاس، چند تا تکنیک کلیدی استفاده شده.
یکی Model Growth Initialization هست؛ به جای شروع از وزن‌های رندوم، اول یه مدل با نصف تعداد لایه‌ها رو آموزش دادن و بعد لایه‌هاش رو روی هم استک کردن تا مدل نهایی رو بسازن. این کار نقطه شروع بهتری برای آموزش مدل بزرگ فراهم می‌کنه.

برای جلوگیری از انفجار اکتیویشن‌ها، از یه hidden z-loss با ضریب خیلی کم استفاده شده که مقادیر خیلی بزرگ رو توی hidden stateها جریمه می‌کنه.
همچنین برای پایداری روتر، Gradient Norm Ratio رو مانیتور کردن تا مطمئن بشن گرادیانِ لاسِ load balancing روی گرادیانِ لاسِ اصلی مدل غلبه نمی‌کنه و اون رو زیر 0.1 نگه داشتن.
یه نکته‌ی خیلی فنی و جالب دیگه، تنظیم اپسیلونِ اپتیمایزر Adam روی 1e-16 بود. در مقیاس‌های بزرگ، گرادیان‌ها خیلی کوچیک میشن و مقدار پیش‌فرض epsilon می‌تونه فرآیند بهینه‌سازی رو مختل کنه.

به نظر من، نکته‌ی اصلی اینه که LongCat-Flash فقط یه مدل بزرگ دیگه نیست. مجموعه‌ای از راهکارهای مهندسی هوشمندانه برای حل مشکلات واقعی در ترینینگ و اینفرنس مدل‌های MoE در مقیاس بزرگه. از کنترل داینامیک محاسبات گرفته تا تکنیک‌های پایداری و بهینه‌سازی ارتباطات، همه‌چیز نشون می‌ده که تیم سازنده عمیقاً با چالش‌های فنی درگیر بوده. این مدل نشون می‌ده که رقابت فقط سر اندازه و دیتا نیست، بلکه نوآوری‌های معماری و مهندسی سیستم هم نقش کلیدی دارن.

📃 گزارش فنی

🛠 Join @LLMEngineers Community