کش KV توی ترنسفورمرها

🧠 مدل‌های زبانی بزرگ وقتی می‌خوان یه جمله رو بنویسن، باید برای هر کلمه‌ی جدید همه‌ی کلمه‌های قبلی رو هم دوباره بررسی کنن تا معنی درست دربیاد.
این کار اگه هر بار از اول انجام بشه، خیلی کند میشه.

اینجاست که کش KV کمک می‌کنه.
مدل وقتی بار اول جمله رو می‌خونه، برای هر کلمه دو تا چیز درست می‌کنه:

▫️Key (کلید) که نشون میده اون کلمه چه اطلاعاتی داره

▫️Value (مقدار) که مشخص می‌کنه اون اطلاعات چطوری باید استفاده بشن

مدل اینا رو نگه می‌داره توی حافظه،
و دفعه‌ی بعد فقط برای کلمه‌ی جدید محاسبه می‌کنه، نه برای همه‌ی قبلیا.

نتیجه اینه که مدل خیلی سریع‌تر کار می‌کنه و منابعش کمتر درگیر می‌شن مخصوصاً وقتی متن طولانیه.