نکات فنی کلیدی این مدل این‌هاست:
یک. رابط یکپارچه مدل policy و مدل reward: مهم‌ترین بخش ماجرا اینه که backbone مدل اصلی (که policy model حساب میشه) و مدل پاداش فرآیند (Process Reward Model یا PRM) مشترکه. یه head خیلی سبک (حدود ۵۳ میلیون پارامتر برای مدل ۳۲ میلیاردی) به مدل اضافه شده که کارش امتیازدهی به مراحل استدلاله. این کار هزینه محاسباتی PRM رو موقع اینفرنس تا ۹۹٪ کاهش میده چون دیگه لازم نیست یه مدل غول‌پیکر جداگانه برای امتیازدهی لود بشه.

دو. یادگیری خودنظارتی برای مدل پاداش (SPRM): یکی از بزرگترین مشکلات ساخت PRM، نیاز به داده‌های لیبل‌گذاری شده در سطح فرآیندی (process-level annotation) هست که خیلی گرونه. این تیم اومده یه Self-supervised PRM یا SPRM ساخته که فقط با دیدن نتیجه نهایی (مثلاً جواب مسئله درسته یا غلط) یاد می‌گیره به مراحل مختلف استدلال امتیاز بده. این‌جوری دیگه نیازی به دیتاست‌های پیچیده و پرهزینه برای ترین PRM نیست.

کاربرد عملی این معماری تو Test-Time Scaling (TTS) مشخص میشه. مدل XBai o4 سه تا حالت داره: low و medium و high. این حالت‌ها در واقع Best-of-N با مقادیر N برابر ۲، ۸ و ۳۲ هستن. مدل k تا جواب مختلف تولید می‌کنه، بعد SPRM داخلیش به هر کدوم امتیاز میده و بهترینش رو انتخاب می‌کنه.

به نظر من، ایده shared backbone یه حرکت مهندسی هوشمندانه و بهینه‌ست. به جای اینکه یه PRM جدا رو به زور بچسبونن به یه مدل دیگه، کل سیستم به صورت یکپارچه طراحی شده. استفاده از یه loss سفارشی به اسم SPRLoss هم که حین آموزش جلوی نویز ناشی از لیبل‌های اشتباه رو می‌گیره، نشون میده که به چالش‌های عملی این روش فکر شده.

توی مقاله به یه پدیده جالب به اسم aha moment هم اشاره شده. ظاهراً موقع آموزش، مدل بعد از یه تعداد استپ خاص، ناگهان توانایی تفکیک بین استدلال درست و غلط رو پیدا می‌کنه و از اون نقطه به بعد، شکاف امتیازی که به جواب‌های درست و غلط میده به سرعت زیاد میشه.

در بنچمارک‌های ریاضی مثل AIME24 و AIME25، مدل XBai o4-high تونسته از مدل‌های قوی مثل Qwen3-32B و حتی DeepSeek-R1-671B هم عملکرد بهتری ثبت کنه.

📃 مقاله اصلی برای جزئیات بیشتر:
Test-Time Scaling with Reflective Generative Model


🛠 Join @LLMEngineers Community