مقاله (Context Language Models) روشی معرفی می‌کند که در آن مدل، خودش محتوای پنجره زمینه‌اش را مدیریت می‌کند. هدف، افزایش دقت و کاهش هزینه در کارهای طولانی است.

زمینه به یک فایل قابل‌ ویرایش تبدیل می‌شود. مدل می‌تواند اطلاعات غیرضروری را حذف کند، جزئیات مهم را نگه دارد، یادداشت‌ها را به‌روز کند و اطلاعات را بیرون از زمینه ذخیره و بازیابی کند. تغییرات فایل مستقیما در ورودی نوبت بعد اعمال می‌شوند. این روش با مدل‌های موجود نیز قابل اجراست.

مدل همچنین می‌تواند راهبرد مدیریت زمینه را با دستورالعمل یا آموزش تقویتی یاد بگیرد. برای کاهش هزینه ویرایش، Suffix Cache Reuse کش توکن‌های باقی‌مانده را حفظ می‌کند؛ اما این کش ممکن است هنوز اطلاعات زمینه قبلی را حمل کند. کاهش ۳۵٪ محاسبات با حفظ عملکرد، نتیجه تجربی مقاله است، نه تضمین عمومی.

📬 Context Language Models

#مقاله


➡️ @AI_DeepMind
✔️ @AI_Person