یه مدل جدید به اسم Hierarchical Reasoning Model یا HRM اومده که نتایج جالبی روی تسک‌های استدلال منطقی گرفته. بعضی‌ها دارن بهش میگن "LLM-killer" ولی این مقایسه از پایه اشتباهه. کاربرد عملی HRM حل پازل‌های منطقی پیچیده و بهینه‌سازی مسیر تو فضاهای بسته‌ است، یعنی کارهایی که نیاز به جستجو و backtracking عمیق دارن.

این مدل مستقیماً به محدودیت‌های معماری Transformers حمله می‌کنه. مدل‌های ترنسفورمر، هرچقدر هم بزرگ باشن، از نظر محاسباتی "کم‌عمق" هستن و نمی‌تونن الگوریتم‌های پیچیده رو به صورت end-to-end اجرا کنن. برای همین به سراغ Chain-of-Thought یا CoT میرن که در واقع نوعی برون‌سپاری استدلال به فضاست. CoT شکننده است و به داده زیاد برای فاین‌تیون شدن نیاز داره.

معماری HRM از ساختار سلسله‌مراتبی و چندمقیاسی مغز الهام گرفته شده. دو ماژول recurrent داره که با هم کار می‌کنن:
۱. یه ماژول سطح بالا (High-level H): این ماژول آهسته آپدیت میشه و مسئولیت برنامه‌ریزی انتزاعی و کلی رو به عهده داره.
۲. یه ماژول سطح پایین (Low-level L): این یکی سریع آپدیت میشه و محاسبات جزئی و دقیق رو انجام میده.

نتایجش روی بنچمارک‌های خاص خیلی خوبه. این مدل ۲۷ میلیون پارامتری، فقط با ۱۰۰۰ نمونه داده آموزشی و بدون هیچ pre-training، تونسته پازل‌های سودوکوی خیلی سخت (Sudoku-Extreme) و مازهای پیچیده (Maze-Hard) رو با دقت نزدیک به ۱۰۰٪ حل کنه؛ تسک‌هایی که مدل‌های زبانی بزرگ با CoT عملاً روی اون‌ها شکست خوردن (دقت صفر). توی بنچمارک ARC هم که برای سنجش هوش عمومی مصنوعی طراحی شده، عملکرد بهتری از مدل‌های بسیار بزرگتر از خودش داشته.

به نظر من، HRM یه LLM-killer" نیست. LLM مثل یک سیستم‌عامل همه-کاره‌ست که میتونه کد بنویسه، ایمیل بزنه و کارهای عمومی انجام بده. HRM مثل یک ماشین حساب فوق‌العاده تخصصی و قدرتمنده که برای حل یک کلاس خاص از مسائل منطقی طراحی شده. قدرت اصلی این مقاله در اینه که نشون میده میشه با معماری‌های جایگزین، به خصوص ساختارهای سلسله‌مراتبی و recurrent، الگوریتم‌های پیچیده رو به صورت بهینه و با داده کم یاد گرفت. این مدل شاید مستقیم تو محصولات روزمره استفاده نشه، ولی اصول معماریش می‌تونه روی نسل بعدی مدل‌ها تاثیرگذار باشه.


📃 Hierarchical Reasoning Model

🛠 Join @LLMEngineers Community