空一行
LLM-as-Judge 的评估成本可能超过 Agent 本身。作者发布 40 行离线脚本
judge_gate.py，用 4 条确定规则对每个 agent span 分诊，只有不确定的 span 才送入昂贵的 judge。- 4 条规则：声明-证据匹配、输出格式、200 空响应、重复重试
- 输入 JSONL trace，输出 OK/BAD/UNCERTAIN；仅 UNCERTAIN 触发 judge
- 支持
--judge-price 和 --prod-cost 配置价格，退出码用于 CI 门控- 测试结果：良好打点的 trace 中 68% 被分流，judge 成本占比从 50% 降至 16%
空一行
原文链接
空一行
#开发者 #工具
空一行
📢 频道：@DevToolboxHub