مدل‌های سری Mox که توسط تیم VANTA Research منتشر شدن، یه رویکرد مهندسی متفاوت رو نسبت به مفهوم "شخصیت" (Persona) در هوش مصنوعی نشون میدن. به جای اینکه شخصیت رو صرفاً یه لایه پرامپت‌نویسی ساده ببینن، اون رو به عنوان یک مشخصه فنی (Technical Spec) در لایه Fine-tuning پیاده‌سازی کردن. این مدل‌ها برای سناریوهایی طراحی شدن که شما به یک دستیار با "نظر مستقیم" و "توانایی مخالفت سازنده" نیاز دارید، نه فقط یه بات که با هر حرف کاربر موافقت می‌کنه.

مدل mox-small-1 که بر پایه OLMo 32B Instruct بنا شده، با استفاده از QLoRA روی ۱۸ هزار مکالمه دست‌چین شده تیون شده. نکته مهندسی اینجاست که دیتاست‌های مورد استفاده (شامل ۱۷ دیتاست مختلف) دقیقاً برای رفتارهایی مثل "عدم قطعیت کالیبره شده" (Calibrated Uncertainty) بهینه شدن. یعنی مدل یاد گرفته وقتی جواب سوالی رو نمی‌دونه، به جای توهم زدن یا پیچوندن جواب، مستقیماً اعلام کنه که نمی‌دونه. این سطح از صداقت توی مدل‌های RLHF شده‌ معمولی که فقط برای راضی نگه داشتن کاربر (User Preference) آموزش دیدن، به ندرت پیدا میشه.

مدل mox-tiny-1 که از بیس Llama 3.1 8B استفاده می‌کنه، با تکنیک LoRA تیون شده و کانتکست ۱۳۱ هزار توکنی رو ساپورت می‌کنه. ارائه فرمت‌های GGUF در کنار وزن‌های اصلی نشون میده که هدف، استفاده محلی و سریع (Local Inference) بوده. ۱۳۱ هزار توکن برای یک مدل ۸ میلیاردی، فضای کافی رو برای تحلیل داکیومنت‌های حجیم در کنار حفظ اون شخصیت منتقد و مستقیم فراهم می‌کنه.

به نظر من، حرکت VANTA Research برای انتشار مدل‌هایی که "جرئت مخالفت" دارن، یه واکنش درست به وضعیت فعلی مدل‌های هوش مصنوعیه که به خاطر ترس از ایمنی (Safety) بیش از حد، عملاً بی‌استفاده و بیش از حد مودب شدن. استفاده از OLMo به عنوان بیس مدل ۳۲ میلیاردی هم انتخاب هوشمندانه‌ای بوده؛ چون برخلاف بسیاری از مدل‌های دیگه، پشته آموزشی (Training Stack) شفاف‌تری داره و برای کارهای تحقیقاتی و توسعه سیستم‌های "ایمنی-محور" قابل اعتمادتره.

اگر دارید روی سیستم‌های تصمیم‌ یار (Decision Support Systems) کار می‌کنید، سری Mox به خاطر تمرکز روی "مخالفت سازنده" و "نظرات مستقیم"، ابزار بهتری نسبت به مدل‌های عمومی برای به چالش کشیدن فرضیات شما هستن. در واقع این مدل‌ها به درد کسایی می‌خورن که دنبال "حقیقت" هستن، نه لزوماً "تایید".

📃 مدل mox-small-1 در هاگینگ فیس:

https://huggingface.co/vanta-research/mox-small-1

📃 مدل mox-tiny-1 در هاگینگ فیس:

https://huggingface.co/vanta-research/mox-tiny-1

🛠 Join @LLMEngineers Community