مسیر یادگیری Reinforcement Learning تو اواخر ۲۰۲۵ کلا تغییر فاز داده. قبلاً تهش این بود که ایجنت ماریو بازی کنه، الان بحث سر "Reasoning" و "Alignment" مدل‌های زبانیه. اگه می‌بینید DeepSeek یا مدل‌های Gemini دارن می‌ترکونن، دلیلش SFT نیست، دلیلش RL در مقیاس بزرگه.

برای اینکه تو این بازار آشفته گم نشید، نقشه‌راه منابع رو بر اساس کاربرد واقعی و وضعیت فعلی کامیونیتی دسته‌بندی کردم.

فاز اول: تئوری محض (فرار نکنید)
پایه و اساس RL ریاضیاته. بدون فهمیدن MDP و Bellman Equation، ابزارها رو فقط کپی‌پیست می‌کنید و وقتی مدل Reward Hacking کرد، نمی‌فهمید کجای کار میلنگه.
کتاب Sutton & Barto هنوزم "کتاب مقدس" این حوزه است. درسته قدیمیه و خبری از LLM توش نیست، ولی منطق Policy Gradient و TD Learning همونه.

📕 کتاب رفرنس ساتون و بارتو:
http://incompleteideas.net/book/RLbook2020.pdf

ویدیوهای دیوید سیلور (DeepMind) با اینکه مال ۲۰۱۵ هست، ولی هنوزم بهترین نقطه شروعه چون شهودی درس میده.
🎞 پلی‌لیست دیوید سیلور:
https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLqYmG7hTraZDM-OYHWgPebj2MfCFzFObQ

فاز دوم: ورود به کد (Deep RL)
دوره Hugging Face بهترین گزینه برای تبدیل تئوری به کده. اینجا با کتابخونه‌هایی مثل Stable Baselines3 و CleanRL کار می‌کنید. خوبیش اینه که پروژه عملی داره (مثلا Doom یا Minecraft بازی کردن) و رایگانه. این دوره پل بین تئوری خشک و دنیای مدرنه.

🤗 دوره عملی Hugging Face:
https://huggingface.co/learn/deep-rl-course/unit0/introduction

فاز سوم: دنیای LLM و Alignment (اصل داستان)
الان پول تو این بخشه. اینجا دیگه بحث DQN نیست، بحث PPO، DPO و جدیداً GRPO هست.
کتابخونه TRL از Hugging Face الان استاندارد صنعتی برای این کاره. داکیومنت‌هاش فقط کد نیست، رسما آموزش روش‌های جدید مثل KTO و ORPO هست.
ترند جدید اما GRPO هست (Group Relative Policy Optimization). این همون روشیه که مدل‌های استدلالی رو می‌سازن چون نیاز به Critic مدل نداره و حافظه کمتری میخواد.

به نظر من، بهترین منبع فعلی برای یادگیری GRPO، داکیومنت‌ها و نوت‌بوک‌های Unsloth هست. اینا اومدن جوری بهینه‌ش کردن که روی GPUهای معمولی هم بتونید مدل رو Reasoning-aware کنید. حتی از کورس‌های رسمی DeepLearning.AI هم عملی‌تر و عمیق‌تره.

🤗 هندبوک Alignment (کتابخونه TRL):
https://huggingface.co/docs/trl/index

🦥 راهنمای Unsloth برای GRPO و RLHF:
https://unsloth.ai/blog/grpo

جمع‌بندی و تجربه شخصی:
اشتباه رایج اینه که ملت یه راست میرن سراغ DPO یا GRPO بدون اینکه بفهمن Reward Function چیه. RL برخلاف Supervised Learning، به شدت به هایپرپارامترها حساسه و ناپایداره.
پیشنهادم اینه: ۱۰ قسمت ویدیو دیوید سیلور رو ببینید (با سرعت 1.5x)، بعدش یه پروژه با TRL یا Unsloth بالا بیارید. الان PPO داره جاش رو تو کامیونیتی اوپن‌سورس به GRPO و DPO میده چون هم سریع‌ترن هم به سخت‌افزار کمتری نیاز دارن. روی این دوتا تمرکز کنید.

🛠 Join @LLMEngineers Community