هر بار که Coding Agent یک فایل یا log بزرگ می‌خونه، معمولاً کل خروجی در هر model call دوباره و دوباره به context فرستاده می‌شه. نتیجه؟ tokenهای تکراری پرشدن کانتکس و هزینه‌ی اضافه.

مکانیزم ObservationPack در SoL-Pi بعد از چند بار ارسال کامل، خروجی رو به یک placeholder کوتاه تبدیل می‌کنه و نسخه‌ی اصلی رو به‌صورت local archive نگه می‌داره. هر وقت مدل دوباره به بخشی از آن نیاز داشته باشه، با obs_recall دقیقاً همان قسمت را برمی‌گردونه.

عددهای زرد تصویر، توکن هایی هستن که با همین کار دوباره ارسال نشدن؛ مثلاً ۲٬۸۳۵ یا ۶٬۴۵۷ توکن.

دقت کنین context حذف نشده؛ فقط وقتی مدل نیازی نداره به اون فایلی که خونه و رفته دنبال مراحل بعدی کار، ما مجبور نیستیم هر بار کل اون فایل رو دوباره بفرستیم تو آرایه messages و تو کانتکست نگهش داریم.

🛠 Join @LLMEngineers Community