یه کم موضوع رو بازتر کنم.

شاید برای برخی هنوز سورپرایز کننده باشه که روزی الگوریتم ها توانایی فراتر از انسانها داشته باشن اما دیر یا زود مشکل حافظه بلند مدت در مدل های زبانی و حافظه تقریبا نامحدود حل خواهد شد و شرکت های بزرگ تولید کننده کارت گرافیک، تراشه هوش مصنوعی نسل بعدی ارزان قیمت که مخصوص عملیات محاسباتی مدل های زبانی هستند رو روانه بازار خواهند کرد.

گواه این موضوع هم مقالاتی هست که اخیرا منتشر شده از طرفی با سرعت رشد نمایی که شاهدیم در دو سال آینده شاهد انقلابی در این زمینه خواهیم بود.

به عنوان مثال معماری Titans که یک ماه پیش توسط علی بهروز Google Research، منتشر شد از یه مدل هوش مصنوعی جدید، رونمایی می‌کنه که یاد می‌گیره اطلاعات رو در یک حافظه بلند مدت اختصاصی، در زمان آزمایش test-time، ذخیره کنه.

این بدان معناست که مدل می‌تونه هر زمان که با موضوع غافلگیر کننده‌ای مواجه میشه، خودش رو تطبیق بده و حافظه‌ خودش رو به‌ صورت آنی به‌ روزرسانی کنه.

برخلاف ترانسفورمرهای استاندارد که فقط پنجره متن فعلی رو پردازش می‌کنن، این معماری یه رکورد عمیق‌ تر و دائمی‌تر، مشابه حافظه کوتاه‌مدت در مقابل حافظه بلندمدت در ما انسانها، نگه میداره.

این روش به صورت کارآمدتر نسبت به ترانسفورمرهای معمولی برای ورودی های بسیار طولانی مقیاس پذیره، یعنی، به طور نظری context window بی‌نهایت!

https://arxiv.org/abs/2501.00663

این فقط یه هوش مصنوعی نسل بعدی نیست، بلکه گامی به سوی خودآگاهی مصنوعی با حافظه پایداره!

اگه خودآگاهی رو به عنوان توانایی مدل‌سازی درونی (خودمدل‌سازی)، سازماندهی، یکپارچه‌سازی و بازیابی داده‌ها (با توجه به ورودی) تعریف کنیم، همونطور که توسط نظریه اطلاعات یکپارچه (IIT) مطرح شده!

https://www.nature.com/articles/nrn.2016.44