مدل ۳.۷ میلیارد پارامتری K2 Horizon تو بنچمارک Artificial Analysis امتیاز ۱۶ گرفته. این عدد برای یه مدل زیر ۴ میلیارد پارامتر واقعاً بالاست و از بیشتر مدل‌های هم‌اندازه‌ش جلوتره.

علت اصلیش اینه که روی حجم خیلی بزرگی از داده (حدود ۲۰ تریلیون توکن) ترین شده و بخش زیادی از این داده‌ها مثال‌های حل مسئله و استدلال بودن. بعدش هم چند مرحله‌ی بعد از ترین اصلی روش کار کردن؛ از جمله یادگیری تقویتی مخصوص کار با ابزار و تسک‌های چندمرحله‌ای. نتیجه‌ش شده مدلی که تو کدنویسی، استدلال و کار با ابزار از چیزی که معمولاً از این سایز انتظار می‌ره خیلی بهتر عمل می‌کنه.

نکته‌ی مهم‌تر اینه که این مدل واقعاً اوپن‌سورسه، نه فقط وزن‌هاش. تیم سازنده داده‌ها یا دستور ساخت داده، کد ترینینگ، چک‌پوینت‌های میانی و همه‌چیز رو هم منتشر کرده.

https://ifm.ai/blog/k2/
https://huggingface.co/IFM/K2-Horizon-3.7B

🛠 Join @LLMEngineers Community