مدل‌های DeepSeek-R1-Zero و DeepSeek-R1 اولین نسل از مدل‌های استدلالی هستند که برای بهبود قابلیت‌های reasoning طراحی شده‌اند. DeepSeek-R1-Zero به کمک یادگیری تقویتی در مقیاس بزرگ (RL) و بدون تنظیم دقیق نظارت‌شده (SFT) آموزش دیده است. این مدل توانسته رفتارهای جالبی مثل زنجیره تفکر (Chain-of-Thought)، خودبازبینی (Self-Verification)، و بازتاب (Reflection) را به‌صورت طبیعی یاد بگیرد. نکته مهم این است که این مدل اولین نمونه تحقیقاتی است که نشان داده فقط با استفاده از RL و بدون نیاز به SFT می‌توان قابلیت‌های reasoning مدل‌های زبانی را بهبود داد. با این حال، DeepSeek-R1-Zero مشکلاتی مثل تکرار بی‌پایان، خوانایی پایین و ترکیب غیرمنطقی زبان‌ها دارد.

برای رفع این مشکلات و ارتقای عملکرد، مدل DeepSeek-R1 توسعه داده شد. این مدل از یک فرایند آموزشی پیچیده استفاده می‌کند که شامل دو مرحله RL برای کشف الگوهای بهتر استدلال و هماهنگی با ترجیحات انسانی، و همچنین دو مرحله SFT برای بهبود قابلیت‌های مدل در استدلال و وظایف عمومی است. نتیجه این فرآیند، مدلی است که در وظایف ریاضی، کدنویسی، و استدلال عملکردی مشابه OpenAI-o1 دارد.

از طرف دیگر، تیم تحقیقاتی نشان داده که می‌توان الگوهای استدلال مدل‌های بزرگ‌تر را به مدل‌های کوچک‌تر انتقال داد (distillation) و همچنان عملکرد بالایی به دست آورد. با استفاده از داده‌های تولیدشده توسط DeepSeek-R1، چندین مدل کوچک‌تر بهینه‌سازی شده‌اند که در ارزیابی‌ها نتایج فوق‌العاده‌ای داشته‌اند. این مدل‌های کوچک‌تر، با اندازه‌های مختلف (مثل 1.5 میلیارد تا 70 میلیارد پارامتر)، به‌صورت متن‌باز در دسترس جامعه تحقیقاتی قرار گرفته‌اند. به‌طور خاص، مدل DeepSeek-R1-Distill-Qwen-32B در مقایسه با OpenAI-o1-mini در آزمون‌های مختلف عملکرد بهتری داشته و استانداردهای جدیدی برای مدل‌های dense ایجاد کرده است.


کد:
https://github.com/deepseek-ai/DeepSeek-R1

مقاله:

https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf