وسط یه سشن طولانی بدون دلیل واقعی مدل رو عوض نکنید.

تعویض مدل رایگان نیست.

تو اکثر سیستم‌های اینفرنس، کش پرامپت به مدل و ارائه‌دهنده‌ی خاص گره خورده. وقتی سشن رو از مدل A به مدل B منتقل می‌کنید، مدل جدید نمی‌تونه از کش مدل قبلی استفاده کنه.

باید کل ورودی رو دوباره پردازش کنه:

→ دستورالعمل‌های سیستمی
→ تاریخچه‌ی مکالمه
→ مهارت‌ها و حافظه
→ تعریف ابزارها
→ فایل‌ها و کانتکست بازیابی‌شده
→ تمام توکن‌هایی که تو سشن جمع شده

این کار سه هزینه‌ی فوری داره:

۱. هزینه‌ی توکن بالاتر
ممکنه قبلاً برای پردازش اون کانتکست پول داده باشید. مدل جدید باید پیش پردازش خودش رو انجام بده، پس عملاً دوباره برای ورودی هزینه می‌پردازید.

۲. تأخیر بیشتر
پیش پردازش کانتکست طولانی معمولاً همون چیزیه که اولین توکن رو دیر می‌ده. عوض کردن مدل می‌تونه یه سشن گرم رو دوباره به استارت سرد تبدیل کنه.

۳. رفتار کمتر پایدار
مدل‌های مختلف همون دستورالعمل‌ها رو جور دیگه تفسیر می‌کنن. تعویض مداوم می‌تونه لحن، انتخاب ابزار، سبک استدلال و پیوستگی کار رو تغییر بده.

رویکرد بهتر:

- یه مدل اصلی برای کل سشن انتخاب کنید
- مدل دیگه رو فقط برای ساب‌تسک‌های جدا استفاده کنید
- به مدل‌های تخصصی کانتکست کوچک و هدفمند بدید
- فقط وقتی عوض کنید که بهبود کیفیت واقعاً هزینه رو توجیه کنه
- وقتی هدف کاملاً عوض شد، سشن جدید شروع کنید

روتینگ مدل ارزشمنده ولی پریدن تصادفی بین مدل‌ها گرونه.

@DevTwitter | <بوکانت/>