مدل‌های لوکال تا همین چند ماه پیش بیشتر شبیه اسباب‌بازی یا نهایتا یه سرچ‌انجین شخصی بودن، اما الان واقعا میشه برای تسک‌های agentic بهشون اعتماد کرد.
اجرای لوپ‌های کدنویسی با مدلی مثل Gemma 4 روی سخت‌افزار شخصی، الان خیلی به پرفورمنس مدل‌های frontier نزدیک شده، که دستاورد بزرگیه.
خوبی اصلیش هم اینجاست که برخلاف کار با APIها، کنترل کامل داری و می‌تونی ریز به ریز پروسه inference و پردازش توکن‌ها روی GPU رو مانیتور کنی و با quantization های مختلف تست بگیری.
تجربه جالب یه کاربر از این ستاپ با LM Studio و داکر رو اینجا بخونید:
https://vickiboykis.com/2026/06/15/running-local-models-is-good-now/

🛠 Join @LLMEngineers Community