استارتاپ PrismML با معرفی مدل ۱.۷ بیتی Ternary Bonsai 2 27B انقلابی در فشرده‌سازی مدل‌های بزرگ ایجاد کرده است. این فناوری مدل قدرتمند Qwen3.8-27B را به تنها ۵.۹ گیگابایت کاهش حجم داده و حفظ ۹۸.۲٪ از کارایی نسخه اصلی را در benchmarkهای مختلف ممکن ساخته است.
چگونه روی هر سیستمی اجرا می‌شود؟
کوانتیزاسیون ترنری (Ternary Quantization) با محدود کردن وزن‌ها به سه حالت
{-1, 0, 1} نیاز به محاسبات سنگین ممیز شناور را حذف می‌کند. به دلیل حجم فوق‌العاده کم ۵.۹ گیگابایتی، این مدل تنها به حدود ۷ گیگابایت حافظه رم (RAM) نیاز دارد. این یعنی بدون نیاز به پردازنده‌های گرافیکی گران‌قیمت، می‌توانید آن را به صورت کاملاً لوکال روی آیفون، مک‌بوک یا حتی مستقیماً درون مرورگر وب اجرا کنید.شاهکار PrismML در فشرده‌سازی مدل‌ها؛ معرفی مدل ۱.۷ بیتی Ternary Bonsai 2
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما