بهترین مدل local برای coding

تا آخر این مطلب بخونید. مدل رو در آخر معرفی کردم

اخیرا مدل های زیادی رو روی 16 گیگ رم vga تست کردم.

که ببینم کدوم اونقدر باهوش هست که بشه توی coding بهش اعتماد کرد.

مثلا شاید بشه به gptoss 120B روی کلود اعتماد کرد ولی روی local قضیه فرق داره.

اولا نسخه 120B به حداقل 63 گیگ رم نیاز داره. ولی مساله اینه مدل 20B هم برای coding اونقدر هوشمند نیست. برای چت و کارای دیگه خوبه ولی coding? نه

مدل هایی که من روی 16 گیگ رم تست کردم و برای coding هنوز نیاز به بهبود داشتن و در نهایت ازشون استفاده نکردم:

DeepSeek-R1-0528-Qwen3-8B-GGUF
GLM-4.6V-Flash-GGUF
gpt-oss-20b-GGUF
Ministral-3-14B-Reasoning-2512-GGUF
NVIDIA-Nemotron-3-Nano-4B-GGUF
Qwen2.5-Coder-14B-Instruct-GGUF
Qwen3.5-9B-GGUF
Qwen3-Coder-30B-A3B-Instruct-GGUF
Ornith-1.0-9B-GGUF

gemma-4-12B-it-GGUF
gemma-4-12B-it-QAT-GGUF
gemma-4-26B-A4B-it-GGUF
gemma-4-31B-it-GGUF
gemma-4-E2B-it-GGUF
gemma-4-E4B-it-GGUF
gemma-4-E4B-it-qat-mobile-GGUF


مدل Bonsai-8B-gguf که تنها مدلی بوده که تونسته در حد مدل های cloud ولی روی لوکال خودی نشون بده (من تستم رو با Ternary-Bonsai-27B-gguf گرفتم)

و اما امروز داشتم خبرها رو دنبال میکردم که چشمم خورد به نسخه دوم از این مدل یعنی
Bonsai-2

اگر بخوام در مورد خوده مدل Bonsai یه توضیح مختصر بدم این مدل بر خلاف مد های دیگه دقتش فقط 1 بیت هست. 0 یا 1. یا مدل ternary که دقتش 1.58 هست. 0 یا 1 یا منفی 1
اساتید لطفا تصحیح کنن

به همین دلیل این مدل همه ی هنرش اینه که یه ی مدل قوی تر مثل Qwen3.8 27B نسخه 16 بیت رو فشرده کرده در 1 بیت. نتیجه شده 98% دقت همون مدل اصلی ولی 9 برابر سبک تر.

اگر حتی یک گرافیک 8 گیگی هم دارید میتونید این مدل رو تست کنید. (به شدت پیشنهاد میشه)

برای تست اول برنامه lm studio رو نصب کنید و از لیست مدل ها prism-ml/Ternary-Bonsai-2-27B-gguf رو انتخاب کنید.

حجمش فقط 6.8 گیگ هست.

این برای یه مدل لوکال در حال حاضر فوق العاده هست ولی خب هر مدلی یه نقطه ضعفی داره و برای این مدل، context length هست که نهیتا 262K توکن هست

پیشنهاد میکنم 2 تا لینک زیر رو مطالعه کنید.

https://prismml.com/news/bonsai-2-27b
https://docs.prismml.com/bonsai-2-27b


@DevTwitter | <Armin Sadati/>