این مقاله که توسط محققین استفورد با بودجه ۶ دلار آموزش داده شده یک روش ساده Test-Time Scaling رو معرفی می‌کنه که به مدل‌های زبانی کمک می‌کنه هنگام آزمایش (Test) استدلال بهتری داشته باشن. محققان یک تکنیک ساده برای این کار معرفی کردن که Budget Forcing نام داره. این تکنیک در واقع مشخص می‌کنه مدل قبل از ارائه‌ پاسخ، چقدر محاسبات انجام بده.  

شاید اولین بار مدل o1 بود که نشون داد که میشه بدون تغییر مدل، فقط با افزایش میزان محاسبات در زمان آزمایش (Test)، دقت و توانایی استدلال مدل رو بالا برد اما خوب جزییات زیادی از روش آموزش این مدل منتشر نشد.

در حالت عادی، یک مدل ممکنه خیلی زود تصمیم بگیره که پاسخ نهایی رو ارائه بده، حتی اگر بتونه با تفکر بیشتر، پاسخ بهتری پیدا کنه. برای حل این مشکل، توی این مقاله از تکنیک بسیار ساده ای به نام  Budget Forcing استفاده میشه که مدل رو مجبور می‌کنه بیشتر فکر کنه. در این روش، اگر مدل خیلی زود تصمیم به توقف بگیره، به‌جای توقف، به‌طور خودکار یک کلمه‌ ی "Wait" به خروجی خود اضافه می‌کنه. این کار باعث می‌شه مدل فرایند استدلال خودش رو ادامه بده و در نتیجه دقت پاسخ‌ها افزایش پیدا کنه. 

برخلاف مدل‌های رایج که روی مجموعه داده‌های بسیار بزرگ آموزش می‌ بینن، محققان در این پژوهش از یک مدل با ۳۲ میلیارد پارامتر استفاده کردن که فقط با ۱۰۰۰ نمونه‌ی خاص از مسائل استدلالی آموزش دیده اما با این حال، مدل تونسته در برخی آزمایش‌ها عملکردی بهتر از مدل o1-preview داشته باشه.
  
وقتی مدل مجبور شد زمان بیشتری برای فکر کردن صرف کنه، تونست مسائل پیچیده‌تر ریاضی و علمی رو با دقت بیشتری حل کنه. این موضوع نشون میده که بسیاری از مدل‌های زبانی فعلی می‌تونن با همین سخت‌افزار و معماری، اما با روش‌های بهینه‌سازی مثل Test-Time Scaling، عملکرد بهتری داشته باشن.

https://arxiv.org/abs/2501.19393