ReviewBench:AI 代码审查的开源离线基准
AI 代码审查工具越来越多,但谁抓得准、谁噪音大很难比较。ReviewBench 用统一评分方法评测各家审查代理,帮团队在改动上线前拿到离线信号。
· 语料取自 1.039 亿个 GitHub PR 的分布,含 19 种语言的 219 个公开 PR
· 金标集来自人工审查、前沿 LLM 与静态分析,每条发现标注严重度与类别
· 指标分 grounded 与 augmented 两族,可按严重度、类别和精确率-召回率偏好切片
· 发布前由资深工程师独立复核,一致率 96.6%
Post #1372
2

