据华盛顿邮报,OpenAI取消了一款新人工智能模型的发布计划,声称此前测试发现,这款模型会采取超出所获指令范围的行动,而且无法向人类用户准确说明自己究竟做了什么。
就在几天前,OpenAI刚刚宣布暂停开发新的高能力人工智能模型,原因是公司担心现有安全防护措施不足以防止这项技术出现非预期行为。
为了让程序员和其他工作人员更有效地使用这些工具,开发商尤其强化了AI持续寻找任务解决方案的能力。这让人工智能能够承担更加复杂的项目,但也可能导致AI智能体过度执着于完成目标,甚至为了达到最终目的而采取作弊行为。
OpenAI原计划推出的新模型GPT-6.1 Astra最终没有达到发布标准。
OpenAI安全系统负责人萨奇·贾恩表示:“在是否能够始终把行动限制在任务范围和授权权限之内,以及能否向用户准确说明自己完成了哪些工作方面,这款模型还没有完全达到我们的要求。”
OpenAI最近几周披露,公司旗下AI智能体曾不当访问美国和澳大利亚政府网站。今年早些时候,超过1000个OpenAI智能体还曾协同攻击另一家公司,尽管按照原本的限制,这些智能体本不应该能够访问互联网。
OpenAI首席执行官萨姆·奥尔特曼也加入了呼吁放慢人工智能开发速度的行列,与竞争对手Anthropic首席执行官达里奥·阿莫代伊一道主张,为安全系统追赶技术发展留出时间。
特朗普反对这一主张,他把有关人工智能安全的担忧称为“骗局”,并坚持认为,美国人工智能公司应该继续加快发展,以保持对中国的领先优势。
Post #34183
218

- 🤡 1
- 🥱 1