مدل‌های زبانی بزرگ (LLM) که بر پایه معماری ترنسفورمر کار می‌کنن، تحول چشمگیری در پردازش متن ایجاد کردن. این مدل‌ها از ماژول‌های توجه (attention) استفاده می‌کنن که مثل یه حافظه قدرتمند عمل می‌کنن و می‌تونن ارتباط‌های پیچیده بین کلمات رو درک کنن. اما یه مشکل اساسی دارن: هرچی متن طولانی‌تر باشه، نیاز به محاسبات و حافظه به‌طور تصاعدی افزایش پیدا می‌کنه و این باعث میشه که استفاده از اونها در دنیای واقعی با محدودیت‌های جدی مواجه بشه.

خبر خوب اینه که محققان گوگل یه راه‌حل نوآورانه پیشنهاد کردن که اسمش رو گذاشتن Titans. این سیستم جدید از یه ماژول حافظه عصبی بلندمدت استفاده می‌کنه که می‌تونه اطلاعات تاریخی رو به شکل کارآمدی ذخیره و بازیابی کنه. جالب‌ترین ویژگی Titans اینه که از یه سیستم حافظه دوگانه استفاده می‌کنه: یه بخش برای حافظه کوتاه‌مدت که وظیفه‌ش مدل‌سازی دقیق وابستگی‌های متنی در محدوده کوچکه، و یه بخش برای حافظه بلندمدت که اطلاعات مهم رو برای استفاده‌های بعدی نگه می‌داره.

این سیستم جدید از سه ماژول اصلی تشکیل شده: یه هسته مرکزی که مسئول پردازش اصلی داده‌هاست، یه شاخه حافظه بلندمدت که اطلاعات تاریخی رو ذخیره می‌کنه، و یه بخش حافظه دائمی که پارامترهای ثابت و مستقل از داده رو نگه می‌داره. محققان با استفاده از تکنیک‌های پیشرفته‌ای مثل اتصالات باقی‌مانده، توابع فعال‌سازی SiLU و نرمال‌سازی، عملکرد سیستم رو بهینه کردن.

نتایج آزمایش‌ها نشون میده که این سیستم جدید عملکرد فوق‌العاده‌ای داره. سه نسخه مختلف Titans (MAC، MAG و MAL) همگی از مدل‌های موجود بهتر عمل می‌کنن و می‌تونن متن‌های خیلی طولانی (بیشتر از ۲ میلیون توکن) رو با دقت بالا پردازش کنن. این موفقیت به خاطر سه ویژگی کلیدیه: مدیریت بهینه حافظه، قابلیت‌های پیشرفته حافظه غیرخطی، و توانایی حذف هوشمندانه اطلاعات غیرضروری از حافظه.

این دستاورد مهم می‌تونه تأثیر زیادی روی آینده هوش مصنوعی و کاربردهای عملی اون داشته باشه. حالا می‌تونیم به سیستم‌هایی فکر کنیم که قادرن متن‌های خیلی طولانی رو درک کنن، ویدیوها رو تحلیل کنن و پیش‌بینی‌های دقیق‌تری از روندهای طولانی‌مدت داشته باشن. این پیشرفت، درهای جدیدی رو به روی محققان و توسعه‌دهندگان باز می‌کنه و می‌تونه به حل مسائل پیچیده‌تر در آینده کمک کنه.

از اینجا میتونید نسخه کامل این مقاله رو دانلود و مشاهده کنید.

👀 منبع

@aipulse24