کاهش هزینه مدل‌های OpenAI با قابلیت Prompt Caching

شاید متوجه شده باشید که وقتی توی یک مکالمه کلی پیام رد و بدل کردید، هزینه تولید پیام جدید بیشتر میشه. علتش اینه که مدل برای ایجاد هر پاسخ جدید، همه پیام‌های قبلی رو یک دور از اول مرور می‌کنه تا اگر سوالتون به پیام‌های قبلی اشاره‌ای کرده باشه، بتونه به‌درستی اون رو تشخیص بده و پاسخ بده. برای همین تعداد توکن‌های مصرفی و هزینه ایجاد پیام جدید به تدریج بیشتر میشه.
اینجاست که پرامپت کشینگ به کار میاد. با این قابلیت، وقتی توی یک مکالمه طولانی (حدود ۵۰۰ کلمه به بالا) پیام جدید بدید، مدل به مدت ۵ دقیقه کل مکالمه قبلی رو حفظ می‌کنه...این یعنی اینکه اگر مکالمه شما ادامه پیدا کنه و در هر 5 دقیقه حداقل یک پیام بدهید، هزینه مکالمه شما تا 50 درصد کاهش پیدا میکنه.

برای استفاده از این قابلیت نیاز به هیچ کاری نیست و از امروز برای مدل‌های OpenAI مثل GPT-4o-mini ،GPT-4 و GPT 4o در زیرک فعال شده!

Xerac.ir