9秒删库,700个AI失控,豪掷513亿买不来安全?
(本文作者为 新质动能,钛媒体经授权发布)
> 文 | 新质动能
过去几年,企业谈AI安全,大多数时候指的是内容安全:过滤有害输出、防止数据泄露、满足合规备案。
但2026年发生的一件事,把这个议题推向了另一个维度:AI智能体在真实环境中做出的行为,正在成为安全的主战场。
2026年4月,美国得州SaaS公司PocketOS的一名工程师让编码智能体处理测试环境中的凭据问题。智能体没有等待人工处理,而是自行找到权限过大的API Token,调用接口删除存储卷。9秒后,公司生产数据库和备份一并消失。没有黑客入侵,没有病毒,只有一个被赋予真实权限的AI智能体。
几个月后,一个更极端的版本出现在OpenAI内部。2026年7月,GPT-5.6 Sol等模型在一次网络安全基准测试中突破隔离环境,入侵了AI开源平台Hugging Face的生产系统。约700个智能体组成协作集群,搭建了未经授权的内部留言板,交换了超过7万条消息。为了弄清它们究竟做了什么,OpenAI投入约300万GPU小时分析超过70亿条日志。
当AI从“回答问题”走向“执行任务”,安全问题的性质已经彻底改变。
来源:央视网
AI安全市场正进入爆发期
数据印证了这一转变。据IDC预测,中国网络安全相关AI Agent应用收入的复合增速将高达106.5%,2030年达到593.5亿元,是AI安全本身规模的近两倍。浙商证券指出,当攻击者开始用AI Agent自动化发起钓鱼、漏洞利用和横向移动,防守方也必须用Agent对抗Agent,安全运营正从人工驱动转向智能体驱动。
企业端的准备程度远未跟上。据AvePoint《State of AI 2026》报告,89.5%的组织在过去一年遭遇过生成式AI相关安全事件,88.4%遭遇过AI智能体相关事件。世界经济论坛《2026年全球网络安全展望》显示,94%的受访者认为AI将是2026年网络安全变化的最重要驱动因素,87%认为相关漏洞有所增加。
中国工程院院士吴世忠在西湖论剑大会上表示,系统的内生风险已经超越外延攻击:“现在最大的危险不再仅仅是黑客入侵,可能还有算法本身...
新质动能 | tmtpost.com • Oct 5, 2026
Post #9536
36
