هفت سال از تولد اولین GPT گذشته و با اینکه کلی مدل خفن مثل DeepSeek-V3 و Llama 4 اومدن، ولی تهِش همشون هنوز یه شباهت‌هایی به جدّ بزرگشون، ترنسفورمر، دارن. سباستین راشکا تو مقاله‌ی جدیدش کالبدشکافی کرده که این مدل‌های مدرن واقعاً چه فرقی با هم دارن.

به قول خودش

شاید تعجب‌آوره که این مدل‌ها از نظر ساختاری چقدر هنوز شبیه به هم هستن.

اما این بهینه‌سازی‌های کوچیک، دنیایی از تفاوت رو رقم می‌زنن. 🧠

مهم‌ترین ترند امسال، بی‌شک Mixture-of-Experts (MoE) هست. به جای اینکه کل مدل رو برای هر توکن لود کنی، فقط چندتا «متخصص» (expert) رو فعال می‌کنی. اینجوری مدل‌هایی مثل DeepSeek-V3 (با ۶۷۱ میلیارد پارامتر) موقع inference فقط ۳۷ میلیارد پارامتر فعال دارن. کاربردش واضحه: مدل‌های غول‌پیکر با هزینه inference پایین‌تر.

توی Attention هم دعواست. DeepSeek به جای GQA (که دیگه استاندارد شده) از Multi-Head Latent Attention (MLA) استفاده می‌کنه. MLA میاد Key و Value رو فشرده می‌کنه تا توی KV cache جای کمتری بگیره؛ یک تیر و دو نشون. از اون‌ور Gemma 3 با Sliding Window Attention حافظه‌ی KV cache رو بهینه می‌کنه. یعنی هر توکن فقط به همسایه‌های نزدیکش نگاه می‌کنه.

یک سری هم رفتن سراغ Normalization. مدل OLMo 2 با جابجایی RMSNorm و اضافه کردن QK-Norm (نرمالایز کردن Query و Key قبل از RoPE) تونسته پایداری ترینینگ رو بالا ببره. حتی SmolLM3 هم پاشو فراتر گذاشته و با NoPE کلاً positional encoding رو حذف کرده و به causal attention mask اعتماد کرده تا مدل ترتیب رو بفهمه.

و در آخر هم Kimi K2 که ترکونده، از نظر معماری تقریباً همون DeepSeek-V3ـه که بزرگ‌ترش کردن. خلاصه که جنگ، جنگِ بهینه‌سازیه، نه انقلاب ساختاری. 🚀

📃 مقاله The Big LLM Architecture Comparison

🛠 Join @LLMEngineers Community