🤖 مدل Q4 یعنی چی؟

وقتی می‌گیم یک مدل زبانی Q4 یا 4-bit Quantized شده، یعنی اعداد داخل مدل با دقت کمتری ذخیره شدن.

مثلاً به‌جای استفاده از اعداد 16 بیتی (FP16)، می‌تونیم از نمایش 4 بیتی استفاده کنیم.

#آموزشی

📌مرجع تخصصی هوش مصنوعی و علم داده
❇️ سایت | بله | تلگرام | اینستاگرام