به نظر من یکی از مهم‌ترین یافته مقاله این است که در آزمایش‌های زبان :
مدل بازگشتی با ۲ لایه
تقریباً همان عملکرد مدل غیر بازگشتی با ۱۶ لایه
را دارد!!
این یعنی اینکه بخشی از کاری که قبلاً توسط عمق زیاد شبکه انجام می‌شد، اکنون در طول زمان انجام می‌شود.

ایده اصلی این است که شاید مسیر آینده هوش مصنوعی صرفاً «عمیق‌تر کردن شبکه‌ها» نباشد، بلکه:
شبکه‌های کم‌عمق‌تر اما دارای حافظه و تفکر مداوم در طول زمان باشند.
اگر این ایده در مقیاس‌های بزرگ‌تر نیز تأیید شود، می‌تواند به مدل‌هایی منجر شود که:
تأخیر کمتر دارند،
آموزش ارزان‌تری دارند،
و محاسبات خود را در طول زمان توزیع می‌کنند، نه فقط در یک گذر عمیق از میان ده‌ها یا صدها لایه!

برای پی‌گیری موج پژوهش‌های جدید در این زمینه هشتگ‌های زیر را بشدت پی‌گیری کنید:

#RecurrentTransformers
#ContinuousThoughtMachines
#RecurrentReasoning 🔥
#AgenticSystems
@toobabigdatascience 🤖