این مدل با ۴ میلیارد پارامتر به صورت نیتیو از طول محتوای ۲۵۶ هزار توکن پشتیبانی می‌کنه. این یعنی برای کار با اسناد خیلی طولانی روی سیستم‌های با منابع محدود، گزینه‌ی مناسبیه.

نکته جالب اینجاست که این مدل ۴ میلیاردی توی بعضی بنچمارک‌های استدلال و دانش، از نسخه 30B-A3B هم بهتر عمل کرده. مثلا در بنچمارک استدلال منطقی ZebraLogic امتیاز ۸۰.۲ رو گرفته در حالی که نسخه ۳۰ میلیاردی امتیاز ۳۳.۲ داره. یا در بنچمارک ریاضی AIME25 امتیاز ۴۷.۴ رو در مقابل ۲۱.۶ کسب کرده. این جهش عملکردی توی تسک‌های پیچیده برای یه مدل با این سایز خیلی قابل توجهه.

همچنین در بنچمارک Arena-Hard v2 که همسویی مدل با ترجیحات انسانی رو می‌سنجه، امتیاز ۴۳.۴ رو گرفته که نسبت به امتیاز ۹.۵ نسخه قبلی، یک بهبود چشمگیر محسوب می‌شه و نشون می‌ده که مدل در پاسخ به سوالات باز و تولید متن باکیفیت، خیلی بهتر شده.

به نظر من، این نتایج نشون می‌ده که با post-training هدفمند و دیتاست‌های باکیفیت، می‌شه مدل‌های کوچک رو به سطح عملکردی مدل‌های خیلی بزرگ‌تر رسوند، مخصوصا در حوزه‌های تخصصی.

برای استفاده عملی، این مدل به راحتی با ابزارهایی مثل vLLM و sglang برای دیپلوی و با Ollama و llama.cpp برای اجرا روی سیستم‌های لوکال سازگاره. قابلیت tool-calling قوی هم داره که برای Agent ها به قابل استفاده‌ست.

🛠 Join @LLMEngineers Community