یعنی کیفیت مدل دقیقاً ۴ برابر کمتر شده؟ ❌

نه!

در واقع Quantization روش‌های مختلفی داره و مدل‌های Q4 می‌تونن با وجود کاهش حجم، بخش زیادی از عملکرد مدل اصلی رو حفظ کنن.

📌 به همین دلیل وقتی مدل‌های LLM رو برای اجرای محلی دانلود می‌کنید، نسخه‌هایی مثل Q4_K_M، Q5 و Q8 زیاد می‌بینید؛ هرکدوم یک نقطه متفاوت بین حجم، سرعت و کیفیت ایجاد می‌کنن.

📌مرجع تخصصی هوش مصنوعی و علم داده
❇️ سایت | بله | تلگرام | اینستاگرام