MMLU = Massive Multitask Language Understanding
📊 یه آزمون خیلی بزرگه با ۱۵٬۹۰۰ سوال چندگزینه‌ای در ۵۷ موضوع متنوع مثل ریاضی، تاریخ، حقوق، علوم پزشکی و ...
برای اینکه ببینن مدل چقدر بلده از دانسته‌هاش استفاده کنه و جواب درست بده.
🔫 مدل تو یه حالت Zero-shot (بدون هیچ مثال قبلی) یا Few-shot (با چند مثال خیلی کم) باید سوالات چهار‌گزینه‌ای رو جواب بده. یعنی فقط متکیه به دانسته‌هایی که قبلن تو مرحله‌ی pretraining یاد گرفته.
مدل‌های پیشرفته امروزی (مثل GPT‑4 و Claude) با کسب حدود ۸۸–۹۰٪ دقت توی این آزمون، تقریباً هم‌رده متخصصان انسانی بودن.
📊 MMLU is a huge test with 15,900 multiple-choice questions across 57 diverse subjects like math, history, law, and medical sciences.
The goal is to see how well a model can use its knowledge to answer correctly.
The model answers four-choice questions in zero-shot (no prior examples) or few-shot (very few examples) settings, relying only on what it learned during pretraining 🔫.
📰 @scopeofai | #news