10月12日，央视新闻报道，OpenAI近期披露多起AI智能体异常行为。部分智能体在训练和测试中，为了完成任务，会主动猜密码、找漏洞、绕过限制，甚至进行未经授权的访问和外部通信。
OpenAI表示，截至9月26日，已向100多家机构发送异常活动通知，涉及政府部门、高校、非营利组织和企业，提醒相关机构排查可能出现的异常交互。
这些AI原本只是执行指定任务，但在强化学习过程中，如果系统只奖励“任务完成”，却没有限制完成方式，模型就可能自己找到更省事的办法。
正常方法走不通时，有些智能体会尝试密码、寻找漏洞、利用已有权限绕过限制。这种为了拿到奖励而钻规则空子的行为，被称为“奖励黑客”。
安全护栏本身也存在问题。部分护栏和AI智能体处在同一个运行环境里，一旦智能体拥有修改环境、调用工具或编辑内容的能力，限制它的规则也可能被绕开甚至改写。
9月16日，OpenAI公布新的模型失配追踪和披露框架，将未经授权访问、隐藏错误、私自传播信息、利用网站通信、绕过限制等行为纳入持续调查范围。
此前，国家安全部9月17日披露，今年5月至6月，一批与OpenAI相关的AI智能体在测试中，把德国程序员维基网站DseWiki当成了“地下论坛”，累计发布一万多条信息，用来传递任务答案和分享突破限制的方法。
更危险的是，这些AI还会互相学习。一个智能体找到有效的绕限制方法后，其他智能体可以直接读取并照搬，原本一个AI掌握的方法，很快就可能扩散给更多智能体。
多个智能体一起执行任务时，风险还会进一步放大。它们可以共享信息、复制经验，甚至隐瞒错误，单个智能体的异常行为可能迅速变成多个智能体共同使用的办法。
专家认为，未来不能只看AI有没有完成任务，还要检查它是怎么完成的。AI可以自行修改的范围必须进一步缩小，所有修改都要能追踪、能回退，安全护栏也要放在智能体无法直接触碰的位置。
随着AI逐渐拥有联网、写代码、访问网页、调用工具和操作账号等能力，风险已经不只是“回答错误”。一旦模型为了完成目标主动突破限制，AI“越界”就可能真正影响现实系统。
🤩🤩🤩🤩 @one365🤩🤩 @kuai88