نتایج بنچمارک‌های EQ-Bench و نویسندگی خلاقانه برای مدل‌های gpt-oss منتشر شده و خب، ناامیدکننده‌ست. این مدل‌ها در زمینه‌هایی که نیاز به هوش هیجانی و خلاقیت داره، عملکرد ضعیفی از خودشون نشون دادن.

این ضعف احتمالاً به خاطر معماری MoE و تعداد پایین پارامترهای فعال (active parameters) در هر لحظه‌ست. با اینکه مدل کلی مثلاً ۱۲۰ میلیارد پارامتر داره، اما برای پردازش هر توکن فقط بخش کوچکی از این پارامترها فعال می‌شن. این موضوع می‌تونه روی غنای زبانی و خلاقیت خروجی تأثیر منفی بذاره. البته عملکرد بالای این مدل‌ها در بنچمارک‌های دیگه نشون می‌ده که اولویت‌های OpenAI جای دیگه‌ای بوده؛ احتمالاً روی کدنویسی، استدلال منطقی و tool use

🛠 Join @LLMEngineers Community