账单突然变高,通常不是模型太贵,而是成本在某个环节泄漏。长提示词、冗长输出、重试与 Agent 循环、模型选型不当,都可能让费用超出预算。
逐条排查:提示词是否放置不变的稳定部分在前方以利用缓存;输出是否设置了合理的 max_tokens 并要求结构化;是否按任务而非单次请求统计成本,并给 Agent 迭代和重试设上限;日常分类、提取等调用是否可以换成更小的模型。
一周内可花 30 分钟做一次审计:拉取一天的追踪或日志,按任务分组统计输入输出 token、调用次数和使用的模型,找出最大开销项。多数情况下,优化提示词顺序、加上调用上限或切换到更小模型,比换供应商更有效。
