در یادگیری تقویتی، معمولاً یک Policy تصمیم می‌گیرد و یک Critic آن را ارزیابی می‌کند.
اما در مدل‌های زبانی بزرگ، آموزش Critic خیلی سنگین و پرهزینه است — به همین خاطر بیشتر روش‌ها آن را حذف کرده‌اند
مقاله جدید به نام :
Asymmetric Proximal Policy Optimization: mini-critics boost LLM reasoning

می‌گوید: به جای حذف کامل منتقد، بیایید چند مینی‌منتقد (mini-critic) سبک بسازیم که هرکدام فقط روی بخشی از داده‌ها آموزش می‌بینند.

اختلاف‌نظر بین این مینی‌منتقد‌ها به مدل کمک می‌کند تشخیص دهد کجاها سخت و مبهم است، تا یادگیری را دقیق‌تر و هوشمندتر انجام دهد.

در نتیجه آموزش پایدارتر، هزینه کمتر و بهبود قابل توجه (۳ تا ۶٪) در توانایی استدلال، حتی با فقط ۵۰۰۰ نمونه آموزشی!

اطلاعات بیشتر :
https://arxiv.org/pdf/2510.01656

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer