🔴 کارت گرافیک قوی نداری؟ هنوزم میتونی مدل های بزرگ AI رو لوکال اجرا کنی!

📰خیلی ها فکر میکنن اجرای مدل های بزرگ هوش مصنوعی حتما به یه GPU گرون قیمت نیاز داره؛ اما Quantization این معادله رو تا حد زیادی تغییر داده.

📰تیم Unsloth نسخه های فشرده شده مدل هایی مثل Qwen و DeepSeek رو در Hugging Face منتشر کرده که میشه با ابزارهایی مثل Ollama، LM Studio و llama.cpp اجراشون کرد. حتی برای مدل های 32B هم نسخه های بسیار فشرده مثل IQ1 وجود داره.

▪️این ابزار حجم پارامترهای مدل رو کاهش میده تا مصرف حافظه پایین بیاد؛ البته هرچی فشرده سازی شدیدتر باشه، معمولا باید انتظار افت بیشتری در کیفیت داشته باشی.

+ جالب اینکه مدل Qwen2.5-32B منتشرشده توسط Unsloth تحت Apache 2.0 قرار داره و خود Unsloth هم امکان استفاده از مدل ها در ابزارهای مختلف و اجرای محلی رو مستند کرده.