现代AI代理通常执行多步工作流——检索文档、调用API、查询数据库、生成中间计划、调用外部工具、产生最终响应。但现有安全机制大多只验证初始提示或最终输出,忽略了中间步骤的风险。例如一个无害请求可能让代理在第三步生成引用敏感表的SQL,这种中途输出问题靠入口检查永远无法发现。
Mid-Chain Governance(中间链治理)在执行过程中按间隔重新检查每一步的输出文本,而非仅依赖入口验证。它不是拦截动作本身,而是在文本传递到下一步或交付用户之前进行检查。通过选择性重新验证——按间隔检查且保证最终交付总被检查——在模拟中实现了接近全步骤检查的捕获率,而延迟成本大约减半。
该项目是一个开源的实验性库 midchain-governance,用于多步AI管道的选择性输出重新验证。它不声称发明了跨步约束检查这一概念,而是一个具体的、经过测试的实现——包括间隔逻辑、无论链长多少都保证检查最终输出的机制,以及探索捕获率/延迟权衡的模拟代码。当前没有生产记录,模拟数据如实标注为模拟。目标是补充而非取代现有护栏。
适用场景:企业AI助手、客服代理、自主软件工程代理、多代理编排平台——任何代理在多个步骤产生有意义输出的系统。作者欢迎反馈和贡献。
GitHub: GitHub
#开发者 #工具 #AI #安全 #LLM #代理 #MidChainGovernance #开源 #多步工作流
@DevToolboxHub
