🤔 为什么你买的 API 总是感觉「变笨了」?
一种常见做法:后台挂响应缓存,你的问题和别人问过的够像,就把旧回复返给你,上游一分钱没花。
自查:temperature 设 1,同一段 prompt 连发两次,让它写长一点。真模型两次不可能一字不差,完全相同就是有缓存层。
⚠️ 这和 Prompt 缓存无关:官方 Prompt 缓存缓的是你的输入,省你的钱,输出照样每次重算。
RelayLLM 不复用他人响应,欢迎拿来查。
👉 https://relayllm.cc
#Tips
Post #36
99
