OpenAI安全部门员工辞职 呼吁采取核电级别的防护措施

OpenAI一名专注于人工智能安全的员工已从公司离职，并警告称，顶尖人工智能公司在降低风险方面做得还不够。此前负责OpenAI安全团队透明度工作的David Robinson在为《大西洋月刊》撰写的一篇文章中称，这家ChatGPT开发商“一直通过反复试错发展壮大”。但是，这种方式不可避免会有失败的时候，随着AI技术的能力不断提升，这些失败造成的风险也在加大，他还以OpenAI未能阻止其人工智能在测试过程中失控作为例证。

Robinson在文章中写道：“我以前的同事都很聪明、工作努力，也努力做出正确的选择。但随着公司从一个产品发布冲向下一个产品发布，它并没有达到我认为所需要的谨慎程度。”他补充称，真正需要的是“第一次就做到更接近完美”。

OpenAI 萨姆·奥尔特曼

最近几周，多家顶尖人工智能公司的员工都对该技术可能带来的灾难性风险发出警告。一些人甚至表示，AI有朝一日可能会消灭人类。

在这一背景下，Anthropic PBC首席执行官Dario Amodei呼吁放慢开发最前沿模型的速度，并表示其公司将引入第三方评估人员，协助审查以保证安全。业内其他人士，包括OpenAI的萨姆·奥尔特曼，也公开支持Amodei的计划。

Robinson在文章中表示，人工智能公司应该更像核电站那样运营，“设置多层冗余机制，并进行谨慎且耗时的规划，以免偶发且不可避免的人为错误打开通往灾难的大门。”

他说，目前“人工智能公司不知道该怎么做，但其他人知道。”

OpenAI一名发言人表示，该公司正在作出调整，以加强研究和测试环境的安全性，训练AI模型以负责任的方式完成任务，扩大与第三方评估人员的合作，并改进实时监控以发现模型令人担忧的行为。

这名发言人周六通过电子邮件表示，公司正在确保其模型的能力不会增强到超出OpenAI能够安全管理的程度。

https://www.cnbeta.com.tw/articles/tech/1580602.htm