نکات کلیدی این سری مدل‌ها اینه که روی یک مجموعه داده‌ی بسیار بزرگ و با کیفیت آموزش دیدن. حجم دیتاست به حدود ۶۰ میلیارد توکن رسیده که بخش عمده‌ای از اون به صورت سینتتیک و با تمرکز بر روی reasoning تولید شده.

یکی از ویژگی‌های جالب این مدل، حالت استدلال هیبریدی یا Hybrid Reasoning Mode هست. مدل قبل از ارائه‌ی پاسخ نهایی، فرآیند فکر کردن خودش رو داخل تگ‌های <think>...</think> قرار می‌ده. این باعث می‌شه که بشه مسیر استدلال مدل رو دنبال کرد و همچنین کیفیت پاسخ نهایی در تسک‌های پیچیده بالاتر بره.

در فرآیند آموزش، از تکنیک‌های جالبی استفاده شده:

دیتاست سینتتیک: با استفاده از یک ابزار داخلی به اسم DataForge، دیتاست‌های متنوعی برای آموزش مدل تولید شده.

یادگیری تقویتی: از یک محیط به اسم Atropos برای Rejection Sampling استفاده شده تا مدل در تسک‌های خاصی مثل Schema Adherence (تولید JSON معتبر بر اساس اسکیما) و Tool Use (استفاده از ابزار و فانکشن) به شدت بهینه بشه.

کنترل طول استدلال: یه مشکل رایج در مدل‌های reasoning اینه که ممکنه زنجیره‌ی فکر کردنشون بی‌نهایت طولانی بشه. تیم Nous با یه مرحله فاین‌تیونینگ اضافه، به مدل یاد داده که بعد از حدود ۳۰ هزار توکن، تگ </think> رو ببنده و پاسخ رو تولید کنه. یه راه‌حل مهندسی و عملی برای یه مشکل واقعی.

به نظر من، Hermes 4 یه نمونه‌ی عالی از یک فاین‌تیون مهندسی‌شده و باکیفیته. تمرکز روی کیفیت و تنوع دیتا، به خصوص داده‌های سینتتیک برای قابلیت‌های خاص مثل JSON generation و Tool Use، دقیقا همون چیزیه که یه مدل رو از سطح معمولی به سطح حرفه‌ای می‌رسونه. گزارش فنی شفافی هم ارائه دادن که ارزش کارشون رو دوچندان می‌کنه.

فرمت پرامپت همون Llama 3 Chat هست و برای فعال کردن حالت reasoning، می‌شه از System Prompt خاصی استفاده کرد یا فلگ thinking=True رو در تمپلیت چت قرار داد.
📃 گزارش فنی Hermes 4

🤗 مدل 70B در هاگینگ‌فیس
🤗 مدل 405B در هاگینگ‌فیس

🛠 Join @LLMEngineers Community