معماری جدید گوگل برای غلبه بر محدودیت های جدی معماری Transformer با سرعت دو برابری در استدلال و کاهش ۵۰ درصدی پارامتر ها

در حوزه هوش مصنوعی، از همون ابتدا مدل‌های زبانی بزرگ به دلیل مشکل بزرگ و کند بودن مورد انتقاد بودن. با وجود افزایش بی‌ وقفه تعداد پارامترها، مشکلاتی مانند کاهش کارایی در متون طولانی و مصرف بیهوده منابع محاسباتی همچنان به قوت خود باقی موندن.

معماری Transformer همیشه ستون فقرات مدل های بزرگ زبانی بوده، اما با افزایش طول متن ورودی، ضعف‌ های اونها بیشتر آشکار میشه.

همچنین Transformer ها منابع محاسباتی رو به‌ طور برابر و بدون توجه به پیچیدگی هر توکن تخصیص میدن، این موضوع باعث پردازش غیرضروری عبارات ساده میشه. از سوی دیگه، ذخیره‌سازی مقادیر کلید و مقدار (KV Cache) برای پشتیبانی از طول‌ های بالا، حافظه عظیمی مصرف میکنه.

توی این مقاله محققین گوگل با معماری جدید Mixture-of-Recursions (به‌اختصار MoR)، دو مفهوم مهم، به اشتراک‌ گذاری پارامتر و محاسبه تطبیقی رو در هم آمیختن تا مسیر جدیدی باز کنن.

گوگل دیپ‌ مایند معماری جدیدی برای مدل‌های زبانی بزرگ (LLM) با نام Mixture-of-Recursions (MoR) معرفی کرده، معماری‌ که انقلابی توصیف شده و این پتانسیل رو داره که به «قاتل ترنسفورمرها» تبدیل شه

https://arxiv.org/abs/2507.10524