非/v1/chat/completions或者response、message等常规对话路径。
典型应用场景有哪些?
工单分级与路由:每张工单并行评估紧急度、部门归属、情绪分数,毫秒级完成,全量覆盖而非抽样。Cloudflare 文档示例中,登录问题被以 1.0 置信度路由到 account 部门。
Agent 工具调用护栏:编码类 harness 中,在 bash 等高危工具执行前拦截评估,风险高就阻断或转人工。
模型路由:按任务复杂度在快/强模型间分流,压低整体推理成本。
退款与合规审核:state 里同时放工单、订单、退款政策三段数据,模型判断「是否申请了退款(0.99)」「政策是否支持(0.98)」。
账户风险评估:对账户行为数据打风险分(示例中 1.84,倾向「高风险」),并以 0.81 概率建议升级处理。
高频轻量 Agent:社区已有基于 Browserbase 的浏览器 agent 以「几分之一美分」跑决策、实时交易 agent 和大规模邮件分诊等案例。