یه بنچمارک برای ارزیابی مدل‌های زبان بزرگ روی زبان فارسی ساختم به اسم ParsiEval. هدفم این بود که یه ابزار عملی و استاندارد بسازم تا بتونیم عملکرد واقعی مدل‌ها رو بدون هایپ و تبلیغات، روی زبان فارسی بسنجیم.

این پروژه شامل ۳۶۴ سوال چهارگزینه‌ای تو حوزه‌های مختلف مثل علم، تاریخ و دانش عمومیه. سعی کردم سوالات جوری باشه که فهم و استدلال مدل‌ها رو به زبان فارسی به چالش بکشه.

نتایجی که از ارزیابی مدل‌های مختلف گرفتم خیلی جالبه. همونطور که انتظار می‌رفت، gpt-4o با حدود ۷۹٪ دقت، بهترین عملکرد رو داشت. اما نکته مهم‌تر برای من، عملکرد خوب مدل‌های اپن‌سورس مثل kimi-k2 با دقت 77٪ بود.

به نظر من، یکی از کلیدی‌ترین یافته‌های این پروژه، افت عملکرد شدید بعضی مدل‌ها مثل سری Qwen موقع فعال کردن حالت thinking یا همون reasoning بود. برای مثال، مدل ۲۳۵ میلیارد پارامتری Qwen وقتی این قابلیت روشنه، دقتش از ۷۰٪ به زیر ۳۰٪ سقوط می‌کنه. این یعنی این قابلیت‌ها هنوز برای تسک‌های فارسی بهینه نشدن و گاهی نتیجه عکس میدن.

این نسخه اول پروژه هست. دارم روی نسخه دوم کار می‌کنم که دیتاست ارزیابی خیلی بزرگتری خواهد داشت و مدل‌های جدیدتر رو هم پوشش میده تا بتونیم تصویر دقیق‌تری از وضعیت مدل‌های فارسی داشته باشیم.

کل پروژه، دیتاست و نتایج روی گیت‌هاب موجوده. اگه براتون مفید بود یا از این حرکت حمایت می‌کنید، یه استار ⭐️ تو گیت‌هاب خیلی کمک‌کننده‌ست و بهم انگیزه میده که پروژه رو با قدرت بیشتری ادامه بدم.

🧑‍💻 پروژه ParsiEval در گیت‌هاب

🛠 Join @LLMEngineers Community