اگر یه مدل ۲۰۰ هزار توکن Context داشته باشه، اما ندونه کدوم بخش از اطلاعات مهم‌تره، واقعاً از یک مدل ۳۰ هزار توکنی که حافظه رو به صورت تطبیقی مدیریت می‌کنه بهتره؟ به نظرم نه!
ما امروز با بزرگ‌تر کردن Context Window، تلاش می‌کنیم مشکل تخصیص منابع رو با افزایش ظرفیت حل کنیم. و این در حالی رخ میده که سیستم‌عامل‌ها سال‌ها پیش راه حل این مسئله رو پیدا کرده بودن.

حافظه فیزیکی از همون اول محدود بود، اما سیستم‌عامل با مکانیزم‌هایی مثل Paging و Swapping، تخصیص RAM رو مدیریت می‌کرد. Page های مورد نیازش رو داخل حافظه نگه می‌داشت و داده‌های کم‌ استفاده رو به فضای ذخیره‌سازی منتقل می‌کرد.

و به نظرم همین ایده می‌تونه توی مدیریت Context برای LLM ها و Agent ها هم استفاده بشه و پروژه Orven تلاشی برای اینکه مدیریت Context مثل مدیریت حافظه توی سیستم‌عامل‌ها انجام بشه.

GitHub:
https://github.com/naseridev/orven

@DevTwitter | <Nima Naseri/>