وقتشه در مورد Reinforcement Learning یا RL یه گپ عمیق و فنی بزنیم و ببینیم چطور می‌شه باهاش مدل‌های اپن‌سورس رو به سطح مدل‌های بسته نزدیک کرد. این خلاصه‌ای از نکات کلیدی و تجربیاته که از دل یه بحث فنی درآوردم.

اول یه نگاه سریع به تاریخچه بندازیم. یادتونه که با ریلیز شدن وزن‌های Llama 1، جنبش اپن‌سورس جون گرفت. اون مدل روی ۱.۴ تریلیون توکن آموزش دیده بود. الان Llama 4 روی ۳۰ تریلیون توکن آموزش دیده. این رشد عظیم داده نشون‌دهنده مسیر حرکته. با این حال یه دوره‌ای به اسم «خشکسالی اپن‌سورس» داشتیم. وقتی OpenAI مدل o1-preview رو داد بیرون، یهو یه شکاف بزرگ تو قابلیت «استدلال» یا reasoning بین مدل‌های بسته و اپن‌سورس ایجاد شد که ماه‌ها طول کشید تا پر بشه. این شکاف با مدل‌هایی مثل DeepSeek R1 تا حد زیادی جبران شد. به نظر من، این نشون می‌ده که قابلیت‌های اصلی از قبل تو مدل وجود دارن و ما با تکنیک‌های بهتر فقط اون‌ها رو «برجسته» می‌کنیم.

فازهای اصلی آموزش یه مدل رو اینطوری می‌شه دسته‌بندی کرد:

Pre-training:
آموزش روی دیتاست‌های عظیم وب برای پیش‌بینی کلمه‌ی بعدی.

Mid-training:
یه فاز میانی با داده‌های باکیفیت‌تر (مثل وزن دادن بیشتر به ویکی‌پدیا) و همینطور افزایش طول context مدل.

Supervised Fine-tuning یا SFT:
همون instruction-tuning که مدل پایه رو به یه مدل چت تبدیل می‌کنه.

Post-training:
فاز نهایی که شامل preference-tuning (مثل DPO) و مهم‌تر از اون، RL با پاداش‌های قابل تایید (RLVR) می‌شه.

ادامه 👇👇👇👇

🛠 Join @LLMEngineers Community