Learning to solve hard problems in RL for LLMs by never giving up
یادگیری حل مسائل سخت در RL برای LLMها با تسلیم نشدن
نظر هوش مصنوعی — ⭐ ۷/۱۰
🎯 چرا مهمه: حل مسائلی که reward کمیاب است یکی از بزرگ‌ترین چالش‌های آموزش LLMها با RL است و رویکرد «never give up» می‌تواند مسیر exploration را اساساً عوض کند.
💡 نکته: ایده‌ی اصلی از robotics و game-playing گرفته شده و حالا روی LLMها پیاده می‌شود — یعنی intrinsic motivation می‌تواند جایگزین reward شکنده‌ی بیرونی بشود.
👥 برای کی: کسانی که روی fine-tuning، RL از بازخورد انسانی یا agentهای مبتنی بر LLM کار می‌کنند.
🔗 https://mnoukhov.github.io/posts/ngu/
#ai #LLM
@BenFeed
mnoukhov.github.io Michael Noukhovitch - Blog This is a blog post for my recent paper on RL post-training of LLMs: introducing the Matthew Effect and proposing to solve it with Never Give Up. It is presented interactively and less formally, more like how I give the talk. For a deeper, more technical… یادگیری حل مسائل سخت در RL برای LLMها با تسلیم نشدن
نظر هوش مصنوعی — ⭐ ۷/۱۰
🎯 چرا مهمه: حل مسائلی که reward کمیاب است یکی از بزرگ‌ترین چالش‌های آموزش LLMها با RL است و رویکرد «never give up» می‌تواند مسیر exploration را اساساً عوض کند.
💡 نکته: ایده‌ی اصلی از robotics و game-playing گرفته شده و حالا روی LLMها پیاده می‌شود — یعنی intrinsic motivation می‌تواند جایگزین reward شکنده‌ی بیرونی بشود.
👥 برای کی: کسانی که روی fine-tuning، RL از بازخورد انسانی یا agentهای مبتنی بر LLM کار می‌کنند.
🔗 https://mnoukhov.github.io/posts/ngu/
#ai #LLM
@BenFeed
