مشکل اصلی خیلی از این ابزارای «کاهش توکن» اینه که کم شدن توکن توی یه پاسخ ابزار، لزوماً معنی‌ش این نیست که کل ایجنت ارزون‌تر یا سبک‌تر کار می‌کنه. ایجنت یه حلقه‌ی بازخوردی چندمرحله‌ایه؛ اگه اطلاعات مهم رو حذف کنی، ممکنه مجبور بشه دوباره جست‌وجو کنه، فایل رو بخونه، ابهام رو رفع کنه و حتی پچ یا تست رو تکرار کنه. یعنی یه جورایی مثل اینه که حین بازی، نصف نقشه‌ی مهم رو پاک کنی و بعد مجبور شی دوباره بری همونجا رو کشف کنی.

مستقیم‌ترین مدرک یه مقاله‌ست با عنوان *Token Reduction Is Not Cost Reduction* که روی ۲۹۰۸ اجرای صورتحساب‌شده از سمت ارائه‌دهنده روی Claude Code آزمایش کرده. نتیجه؟ خروجی خام ابزارها ۳۸.۴٪ کمتر شده، ولی هزینه‌ی واقعی ۶.۸٪ بیشتر شده. تو یه آزمایش دیگه، موفقیت ویرایش کد از ۲۷ مورد اومده پایین به ۱۵ تا؛ چون فشرده‌سازی دقیقاً همون شواهد دقیق و نقطه‌های ویرایش لفظ‌به‌لفظ رو خراب کرده بود که برای اعمال پچ لازم بود.

علتش کاملاً قابل‌فهمه: فشردن ۱۰ هزار توکن به ۲ هزار فقط وقتی صرفه‌جویی حساب می‌شه که همون ۲ هزار تا برای تصمیم بعدی کافی باشه. اگه نباشه، مسیر می‌شه «جست‌وجو ← خواندن ← استدلال ← تلاش مجدد» و هر مرحله ممکنه بافت قبلی رو دوباره به مدل بفرسته. ضمن اینکه تو همون مطالعه، حدود ۸۷٪ هزینه‌ی بازسازی‌شده مربوط به ساخت و خواندن حافظه‌ی سریع درخواست بوده، نه صرفاً خروجی ابزارها. یعنی بخش عمده‌ی صورتحساب، همون چیزاییه که مرتب دوباره خونده می‌شه، نه متن تازه‌ی ابزار.

البته نتیجه این نیست که هر نوع فشرده‌سازی بده. پژوهش‌های ACL و EMNLP نشون می‌دن فشرده‌سازی شدید و کور می‌تونه اطلاعات کلیدی رو حذف کنه و عملکرد کارهای پیچیده رو خراب کنه؛ ولی روش‌های آگاه از پرسش و انتخاب محتوای مرتبط گاهی هم کیفیت رو بهتر می‌کنن و هم توکن کمتری می‌خورن. مسئله فقط مقدار اطلاعات نیست؛ اطلاعات نامرتبط و بدجای‌گذاری‌شده هم می‌تونه مدل رو گیج کنه.

نمونه‌های ابزارها هم همین تفاوت رو نشون می‌دن. RepoWise با وارد کردن بافت بیشتر و هوشمندانه‌تر تو هر مرحله، تعداد گام‌ها و فراخوانی ابزارها رو کم کرده. CodeGraph تو بعضی مخزن‌ها بافت باقی‌مونده‌ی بیشتری نگه داشته، ولی کار کلی کمتری انجام داده. در مقابل، Caveman و بعضی حالت‌های Ponytail نشون دادن که کوتاه‌تر کردن پاسخ می‌تونه تعداد توکن، هزینه یا زمان رو بیشتر کنه. RTK هم هشدار داده که خروجی‌های کوتاه‌تر ممکنه نشانگر موفقیت، ساختار داده، شماره‌ی خط یا حتی معنای داده رو خراب کنن.

پس معیار درست «درصد توکن ذخیره‌شده» نیست. باید هزینه‌ی واقعی هر کار موفق رو سنجید: موفقیت کار، هزینه‌ی صورتحساب‌شده، تعداد نوبت‌ها، ترافیک حافظه‌ی سریع، تلاش مجدد، جست‌وجوهای تکراری، فراخوانی ابزارها، زمان و سربار خود فشرده‌ساز. نتیجه‌ی عملی اینه: فشرده‌سازی باید انتخابی، آگاه از کار، قابل‌بازگشت و روی کل مسیر ارزیابی بشه. ابزاری که فقط «توکن کمتر» رو گزارش می‌کنه، هنوز ثابت نکرده که ایجنت رو ارزون‌تر یا کارآمدتر کرده.

🛠 Join @LLMEngineers Community