بعد از حدود ۹ ماه استفاده از مدل‌های Qwen 3 و Qwen 3.5 نسخه 4B روی سیستمم، بالاخره تصمیم گرفتم یه تکونی به ستاپ محلی بدم. الان چند وقتی هست که مدل Gemma 4 E4B نسخه 6-bit رو به عنوان مدل پیش‌فرض روی ویندوز با کارت گرافیک RTX 3060 (نسخه ۶ گیگابایتی) بالا آوردم (با LM Studio )

کوانت Q6 این مدل روی سخت‌افزارهای با VRAM محدود مثل gpu من واقعاً نرم و بی‌دردسر اجرا میشه. توی کارهای روتین، چت‌های معمولی و حتی فرستادن کدهای ساده بش (Bash) کار رو تمیز درمیاره. یکی از نکات جالبش لحن طبیعی‌تری هست که توی خروجی‌های متنی مناسب برای TTS تولید می‌کنه. برای کسایی که روی رزبری پای یا مینی‌پی‌سی هم بالا آوردنش بازخوردها مثبت بوده؛ یعنی مصرف منابعش نسبت به کیفیتی که میده واقعاً بهینه‌ست.

ضعف‌های مدل هم دقیقاً از جایی شروع میشه که یادت میره این کلاً یه مدل کوچیکه. توی ردیت خیلیا شاکی بودن که برای تسک‌های استدلالی سنگین یا خلاصه کردن متون طولانی خروجی متوسطی میده که خب طبیعیه. به نظر من بزرگ‌ترین ضعفش توی سیستم‌های ایجنتی و ابزارهای توسعه مثل Continue.dev یا کارهای نیازمند به Tool Calling عمیقه؛ کلاً ساختار خروجی رو اون‌قدر پایدار نگه نمی‌داره که بشه توی کارهای حساس بهش تکیه کرد. برای پروژه‌های لوکال ایجنتی Qwen 27b انتخاب منطقی‌تریه (که البته gpu بهتریم میخواد).

🛠 Join @LLMEngineers Community