آیا میشه یه مدل، هم سبک و کوچیک باشه هم کاربردی؟ گوگل با معرفی Gemma 3 270M جواب داده! 🤖
🧩 معماری پشت پرده
این مدل بر پایه Decoder-only Transformer ساخته شده، نه MoE. یعنی همون معماری کلاسیک ترنسفورمر، ولی با بهینه‌سازی‌های پیشرفته مثل Group-Query Attention و ترکیب local/global برای مدیریت context طولانی.📏 اعداد و اندازه‌ها
این مدل فقط ۲۷۰ میلیون پارامتر داره:🔋 مصرف کم، کاربرد زیاد
۱۷۰ میلیون برای embedding با واژگان ۲۵۶هزار توکنی
۱۰۰ میلیون برای بلوک‌های ترنسفورمر
با این حال می‌تونه تا ۳۲ هزار توکن رو یکجا پردازش کنه!
به لطف Quantization-aware Training، روی موبایل با INT4 اجرا میشه و حتی روی Pixel 9 Pro در ۲۵ مکالمه فقط ۰.۷۵٪ باتری مصرف کرده. ایده‌آل برای تسک‌هایی مثل دسته‌بندی متن، استخراج اطلاعات و حتی نوشتار خلاقانه.📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@