اما صبر کن... مگه خودش ۸ میلیارد پارامتر نداره؟ 🤔
چطور ممکنه یه مدل بزرگ فقط بخش کوچیکی از مغزش رو فعال کنه و بازم خروجی دقیق بده؟
🧠 اینجاست که مفهوم Active Tokens وارد بازی می‌شه!
در معماری‌های جدید مثل MoE (Mixture of Experts)، همه پارامترها با هر ورودی درگیر نمی‌شن.📊 نتیجه چیه؟
فقط «تعدادی متخصص» که مرتبط‌ترن فعال می‌شن، بقیه استراحت می‌کنن!
به‌همین خاطر مدل هم سریع‌تره، هم کم‌مصرف‌تر، ولی هنوز باهوشه. ⚡
مدلی مثل ۸ میلیارد پارامتر، ولی سرعت و مصرفش در حد مدل‌های ۱ یا ۲ میلیاردی!📌 مرجع تخصصی هوش مصنوعی و علم داده
برای همینه که مدل‌های MoE دارن تبدیل می‌شن به آینده‌ی مدل‌های قابل‌اجرا روی لپ‌تاپ و حتی موبایل. 💻📱
🤖 دیتایاد / datayad@