五条社区评论发现五个系统盲点

一位开发者用AI为医院构建内部工具。一天之内，从社区的五条评论或帖子里，每一条都精准指向了他已上线并信赖的系统中的一个漏洞。每个漏洞都在一小时内修复。

这些漏洞背后是同一个问题：系统在给自己打分。作者将五条教训总结为同一种修复思路——不要相信系统自己的报告，用系统没有写过的东西来验证。

Loot #1：健康检查显示“ok”，但这只是一个标签。作者改为输出一份“收据”：哪个版本检查的、何时、数据库实际响应时间，以及一个显式的null字段。缺失的字段意味着“没人检查过”，存在且为null意味着“检查过且一切正常”。

Loot #2：一个ML模型通过了发布门禁，但上线后对所有输入都回答“中性”。原因是门禁测试的是构建产物，而非用户实际运行的文件。作者在自己的移动工具部署中也发现了同样的漏洞，并改为直接验证用户实际接收的实时文件版本。

Loot #3：一个AI Agent因收到“看似合理但错误”的错误信息而反复重试同一段正确代码。最糟糕的bug不会抛出红色堆栈跟踪，而是给出一个礼貌、自信但错误的提示。作者的修复方案是：用普通合法输入对安全扫描器进行模糊测试——每个误报都是一个bug。

Loot #4：一次云配置错误导致三万美金账单，成本延迟数周才显现。作者在自己的健康检查中添加了最简单的指标：剩余磁盘空间，并在剩余10%时触发告警——在问题真正发生前很久。

Loot #5：一个外部进程读取被审核方自己写的报告，看上去像个审计者。实际上它只是读取报告内容，并未真正运行任何验证。作者修改了监控器，使其直接运行自己的数据库查询，而非信任端点返回的JSON。如果两者不一致，这个差异本身就是告警。

五条教训归结为同一个原则：不要相信系统的自信，用被检查方未曾写过的东西来验证。来源：dev.to。
@DevToolboxHub