Misguided Attention
 مجموعه‌ای از سوالات و چالش‌ هایی هستن که برای سنجش توانایی استدلال مدل‌ های زبانی بزرگ در شرایطی که اطلاعات گمراه‌ کننده وجود داره، طراحی شده.

این مجموعه (لینک زیر) شامل نسخه‌ های کمی تغییر‌ یافته از معماها و مسائل منطقی معروفه. بسیاری از مدل‌ های زبانی در مواجه با اطلاعات گمراه‌ کننده، همچنان به نسخه‌ی اصلی مسائل پایبندن و قادر به تشخیص تغییرات کوچیک در سوالات نیستن. این موضوع نشان‌ دهنده‌ مشکل overfitting برخی مدل‌ ها به داده‌ های آموزشی‌ هست.

مدل Claude-3.7-Sonnet در حالتی که بدون فرآیند استدلال (non-thinking mode) اجرا میشه، در یک آزمون طولانی شامل ۵۲ پرسش مورد ارزیابی قرار گرفت. با وجود اینکه از حالت استدلال استفاده نکرد، تقریبا توانست مدل o3-mini رو شکست بده.

https://github.com/cpldcpu/MisguidedAttention