ابتدا با یه توضیح مختصر در مورد اینکه KV cache چیه، شروع کنیم.

هنگامی که یه مدل زبانی برای تولید متوالی توکن‌ ها در زمان استنتاج استفاده میشه، باید متن(context) همه توکن‌ های قبلی رو هنگام تصمیم‌ گیری در مورد اینکه کدوم توکن رو بعدا در خروجی تولید کنه، ببینه.

راه ساده اینه هر بار که میخوایم یه توکن جدید تولید کنیم، یک محاسبات رو به جلو شامل همه توکن ‌های گذشته رو انجام بدیم، اما این کار بسیار ناکارامده چون توکن‌ های گذشته قبلا توسط مدل زبانی پردازش شدن و با اینکار فقط داریم نتایج از قبل به ‌دست‌آمده رو مجددا محاسبه میکنیم.

برای جلوگیری از این محاسبه مجدد، ذخیره حالت داخلی مرتبط برای همه توکن‌های گذشته و سپس بازیابی نتایج از یک حافظه در صورت نیاز برای توکن‌ های آینده پیشنهاد میشه.

از اونجایی که تنها راه تاثیر توکن‌ های قبلی بر توکن‌ های آینده از طریق بردارهای Key و Value آنها در مکانیسم توجه هست، ذخیره این بردارها کافی به نظر میرسه که نام Key-Value cache یا به اختصار cache KV از اینجا میاد.

ادامه دارد ...