AI 代码验证门 ishvacerto
ishvacerto 是一个代码验证门,用于检查 AI 生成的代码。接收函数和检查方式(doctests、用户测试或参考实现),返回三种结果之一:✅ VERIFIED(通过所有输入)、❌ REFUTED(给出具体反例输入)、🤷 ABSTAIN(无法捕获规范时诚实说不知道)。
关键信息:
- 在 HumanEval 164 个问题上,对正确代码零误报,约 46% 可捕获并验证,其余 abstain。
- 纯 Python 标准库,零依赖,本地运行,无遥测,代码不离机。
- 支持 CI 集成(REFUTED 退出码 1),提供 VS Code 扩展内嵌显示反例。
仓库:GitHub
#开发者 #工具 #ishvacerto #Python #AI #代码验证 #测试
📢 频道:@DevToolboxHub
Post #1087
4
