هر مقاله‌ای ارزش خواندن ندارد!
ولی این مقاله یکی از ایده‌های جالب سال ۲۰۲۶ را بررسی می‌کند:
آیا واقعاً برای ساخت هوش مصنوعی قوی‌تر باید دائماً تعداد لایه‌ها را بیشتر کنیم؟
پاسخ نویسندگان این است:
«نه همیشه.»

اگر مدل بتواند اطلاعات و محاسبات قبلی خود را در طول زمان نگه دارد (Temporal Recurrence)، دیگر لازم نیست همه تفکر و پردازش را در یک لحظه و در یک شبکه بسیار عمیق انجام دهد

به یاد مدل‌های بازگشتی خودمان! اکنون
یک مثال شهودی انسانی!:

🧐فرض کنید شما در حال حل یک مسئله ریاضی دشوار هستید.
●حالت اول: بدون حافظه
هر بار که به مسئله نگاه می‌کنید باید از صفر شروع کنید.
در این حالت به «تفکر عمیق در همان لحظه» نیاز دارید.
این شبیه مدل‌های Transformer معمولی است.
●حالت دوم: با حافظه
امروز کمی فکر می‌کنید، فردا ادامه می‌دهید و پس‌فردا هم روی همان ایده کار می‌کنید.
هر بار بخشی از محاسبات قبلی را حفظ کرده‌اید.
در این حالت لازم نیست هر روز از ابتدا همه مراحل را طی کنید.
این شبیه مدل‌های بازگشتی (Recurrent Models) است.
#RecurrentTransformers
#Research
@toobabigdatascience