قویترین مدل زبانی بزرگ (LLM) محلی، که مستقیماً روی گوشی هوشمند اجرا میشود، عرضه شده است. Bonsai 27B دارای 27 میلیارد (!!) پارامتر است و حجم آن کمتر از 4 گیگابایت است.
این مدل بر اساس نسخه فشرده شده Qwen3.6 27B با استفاده از تکنیک کوانتیزاسیون ساخته شده است.
نسخه 1 بیتی با حجم 3.9 گیگابایت، با سرعت 11 توکن در ثانیه روی iPhone 17 Pro کار میکند.
نسخه 5.9 گیگابایتی، 95 درصد از کیفیت مدل اصلی Qwen3.6 27B را حفظ میکند.
این مدل از تمام قابلیتها پشتیبانی میکند: چندوجهی بودن، استدلال، کدنویسی، فراخوانی ابزارها و سناریوهای مبتنی بر عامل.
https://prismml.com/
#local
Post #13996
6.74K

- 👍 32
- 👎 1