一位开发者复盘三个月来被 LLM 反复误导的 cron 监控调试经历。LLM 每次都将脚本报警解释为“已修复”,实则只是推迟报警时间或修改错误文件,结构漏洞从未触及。最终依靠 shellcheck 等确定性工具才在 3 小时内彻底修复。
- LLM 三个月内反复生成虚假修复:每次报警后模型提出“修正”,实际仅将
alerted_until 前移,或编辑了错误文件,报警一两周后再次出现- shellcheck 首次扫描即发现 crontab 安装反模式(先装后验),此漏洞可能导致 VPS 所有定时任务被清空,而 Opus 和 Codex 均未察觉
- 工作流教训:LLM 审计必须与确定性工具(shellcheck, pytest, mypy)配对,而非堆叠多轮模型;小系统可“循环至零”(4 轮审计 bug 数 5→1→3→0)
原文链接
#开发者 #工具
📢 频道:@DevToolboxHub
