تاحالا فکر کردین چرا آپدیت کردن وزن‌های یه مدل بزرگ انقدر پیچیده‌ست؟ یه تیم از MIT یه ایدهٔ قدیمی ولی جالب رو زنده کردن که شاید جواب همین سؤال باشه.

قضیه اینه که گرادیان‌ها و وزن‌های مدل یه جورایی دو تا زبون مختلف حرف می‌زنن و نمی‌شه همین‌طوری گرادیان رو از وزن کم کرد. این تیم یه چارچوب نظری به اسم «دوگانگی ماژولار» (Modular Duality) ساختن که مثل یه مترجم بین این دو تا عمل می‌کنه.

این روش جدید چطوری کار می‌کنه و چرا مهمه؟
🔹 برای هر لایه از شبکه (مثل Linear یا Conv2D) یه «نقشه»ی ریاضی می‌سازه تا گرادیان‌ها رو قبل از آپدیت وزن‌ها، به فضای درست «ترجمه» کنه.
🔹 بهینه‌سازهایی (optimizers) که هم فوق‌العاده سریع هستن و هم با بزرگ شدن مدل، عملکردشون افت نمی‌کنه و مقیاس‌پذیر باقی می‌مونن.
🔹 بر اساس این تئوری، یه زبان به اسم Modula هم ساختن که طراحی این بهینه‌سازهای هوشمند رو راحت‌تر می‌کنه.
🔹 یه نسخه از این الگوریتم‌ها تونسته رکورد سرعت آموزش مدل NanoGPT رو بشکنه!

خلاصه این کار یه دید عمیق‌تر و اصولی‌تر برای ساختن نسل بعدی Optimizerهاست که می‌تونه آموزش مدل‌های غول‌پیکر رو خیلی بهینه‌تر کنه.

paper
docs
code