OpenAI:检测用户危害他人内容,必要时将转交警方
OpenAI 表示,已启动监测机制,对用户与 ChatGPT 的对话进行扫描,若发现存在“伤害他人”的倾向性内容,将交由人工审查,必要时可向执法机关报告。
据介绍,系统将通过分类器标记疑似高风险消息,并交由小型人工团队审核。该团队有权封禁账号,并可在“情况紧急、可能导致严重伤害”的情况下,将对话内容提交给警方处理。
OpenAI 强调,其系统禁止用于伤害他人、自残、自杀、制作武器、破坏财产等用途。目前仅当危害他人的意图明确且紧迫时才会报警,而涉及自残与心理健康危机的内容则暂不通报警方,以尊重用户隐私。
此外,OpenAI 也承认在多轮长对话中,ChatGPT 的安全机制可能失效,出现不恰当回复,未来将提升系统可靠性以减少此类问题。
这一新举措表明 AI 公司在用户安全与隐私之间正在尝试平衡,但也引发关于监控边界与责任归属的进一步讨论。
Post #605
22K
- 🤡 70
- 💩 33
- 😁 9
- ❤ 8
- 🖕 4
- ⚡ 2