مدلی با ۲۷ میلیارد پارامتر روی کامپیوتر شخصی

متخصصان شرکت PrismML توانستند مدل Qwen 3.8 را ۹ برابر فشرده کنند – اکنون این مدل فقط به ۵.۹ گیگابایت حافظه نیاز دارد، در حالی که قبلاً به ۵۴ گیگابایت نیاز بود.

در عین حال، کیفیت تقریباً بدون تغییر باقی مانده است – مدل، ۹۸.۲٪ از عملکرد اصلی خود را حفظ کرده است، و پنجره‌ی متن (context window) به ۲۶۲ هزار توکن می‌رسد.

اکنون می‌توان این شبکه عصبی بزرگ را به صورت محلی و بدون نیاز به سخت‌افزار سرور اجرا کرد.
https://prismml.com/news/bonsai-2-27b
قبلی
#local