یه اشتباه رایج اینه که فکر کنیم برای فشرده سازی کانتکس ( context compaction) کافیه فقط آخر چت طولانی یه خلاصه درست کنیم. ولی وقتی داریم با Agentهایی کار میکنیم که چند ساعت یا چند روز فعالن و state نگه میدارن، خلاصهنویسی ساده کافی نیست.
اصل قضیه اینه که context window حافظه کاری مدله، نه کل حافظه سیستم. پس اطلاعات کلیدی مثل شناسه، مبلغ، تاریخ و ارجاعات باید دقیق ذخیره بشن یا به جاهای قابل بازیابی اشاره کنن، بعد یه خلاصه ساختاریافته برای حفظ پیوستگی ساخته بشه.
ترتیب کار مهمه: اول نتیجههای بزرگ ابزارها رو بیرون ببری، بعد اطلاعات تکراری یا اضافی رو حذف کنی، درخواست کاربر و اطلاعات باقی مونده رو حفظ کنی، آخرش خلاصه بسازی و از نظر بودجه توکن، امنیت و … اعتبارسنجی بکنی.
خلاصه اینکه compaction شبیه checkpoint کردن و جمعآوری زباله کردن حافظه است تا یه خلاصه ساده چت. اطلاعات کمتری داخل context باشه ولی سیستم بتونه به راحتی بازیابی کنه و قابل حسابرسی باشه.
- developers.openai.com/api/docs/guides/compaction
- platform.claude.com/docs/en/build-with-claude/compaction
- google.github.io/adk-docs/context/compaction/
- docs.openclaw.ai/concepts/compaction
- arxiv.org/html/2608.01326v1
🛠 Join @LLMEngineers Community
Post #482
1.37K
- ❤ 4
- 👍 4
- 👌 1