انتشار Tasmim-Bench؛ مقایسه ۲۹ مدل Decision روی زبان فارسی

ما برای اینکه ببینیم مدل‌های تخصصی تصمیم‌گیری واقعاً چقدر فارسی رو می‌فهمن، یه بنچمارک به اسم Tasmim-Bench ساختیم و نتایجش رو به‌صورت عمومی روی Hugging Face منتشر کردیم.

مدل‌های Decision با LLMهای چت‌محور فرق دارن. قرار نیست متن طولانی تولید کنن؛ یه وضعیت رو می‌گیرن و برای سؤال‌های مشخص، تصمیم ساختاریافته همراه با احتمال هر گزینه برمی‌گردونن.

ما سه نوع تصمیم رو بررسی کردیم:

- Choice:
انتخاب بین گزینه‌های پویا؛ مثلاً یه درخواست مشتری به کدوم بخش ارجاع داده بشه یا Agent کدوم ابزار رو اجرا کنه؟
- Noul:
تصمیم دودویی؛ مثلاً آیا شواهد پیدا‌شده برای پاسخ به سؤال کافی هستن؟ آیا درخواست نیاز به بررسی انسانی داره؟
- Score:
امتیازدهی ترتیبی؛ مثلاً فوریت یه تیکت چقدره یا ریسک یه عملیات در چه سطحیه؟

برای این کار ۱۲۰ سناریوی فارسی در ۸ حوزه طراحی کردیم؛ از پشتیبانی مشتری، RAG و انتخاب ابزار Agent گرفته تا Moderation، فروشگاه اینترنتی، پردازش اسناد، فاکتورها و امنیت.

سناریوها فقط فارسی رسمی نیستن؛ محاوره، فینگلیش، ترکیب فارسی و انگلیسی، غلط تایپی، نیم‌فاصله، کنایه و جمله‌های مبهم هم داخلشون هست.

در مجموع ۲۹ مدل رو ثبت کردیم: ۱۹ مدل Local زیر ۵۰۰ میلیون پارامتر و ۱۰ مدل Decision از طریق OpenRouter. از این تعداد، ۲۰ مدل حداقل در بخشی از ارزیابی نتیجه قابل‌اندازه‌گیری داشتن.

نتایج توی تصویر جالبه:

مدل GPT-6 Luna Decisions با امتیاز ترکیبی 92.1 در صدر قرار گرفت؛ البته این عدد Accuracy نیست، بلکه ترکیبی از معیارهای Choice، Noul و Score هست.

در بخش Choice، مدل رایگان Mercury Decide با دقت 96.4٪ اول شد. مدل Jev 1.13 هم به 94.3٪ رسید.

بین مدل‌های Local، بهترین نتیجه کامل متعلق به Decima-base با حدود ۳۲۲ میلیون پارامتر بود؛ ولی دقت Choice اون فقط 47.9٪ شد.

هدف نهایی پروژه ساخت یه Decision Model سبک و تخصصی برای فارسی هست که بشه به‌صورت Local اجرا و Fine-tune کرد.

https://huggingface.co/datasets/mshojaei77/tasmim-bench

🛠 Join @LLMEngineers Community