تیم Tencent Hunyuan با معرفی بنچمارک EvolveScaler، چالش جدیدی برای مدل‌های زبانی بزرگ ایجاد کرده است. برخلاف تست‌های سنتی که صرفاً بر استخراج اطلاعات از متن متمرکز هستند، این ابزار توانایی مدل در «بازسازی وضعیت جهان» پس از تغییرات متوالی را می‌سنجد.
در این سناریوها، اطلاعات به‌صورت پویا اصلاح یا لغو می‌شوند و مدل باید بتواند با مدل‌سازی منطق رویدادها، نتایج تغییرات را به‌درستی تحلیل کند. نتایج نشان می‌دهد حتی مدل‌های پیشرو نیز در سطوح دشوار با افت عملکرد شدید مواجه می‌شوند.
از مهم‌ترین ویژگی‌های این بنچمارک:
- استفاده از ماشین وضعیت برای کنترل منطق رویدادها
- بررسی بیش از ۱۰۰ سناریو با تغییرات زنجیره‌ای
- ارزیابی دقیق توانایی مدل در محاسبات ضدواقعی (Counterfactual)
برای جزئیات بیشتر و دسترسی به نتایج مدل‌ها، مقاله این پروژه را مطالعه کنید.
بنچمارک EvolveScaler؛ چالش جدید Tencent برای سنجش استدلال پویا در مدل‌های زبانی
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما