Complex Networks (SBU) on Telegram: “اوپن ای آی نوشته وقتی داشتن مدل هوش مصنوعیشون را…”

Complex Networks (SBU) @complexity_sbu · 1.19K subscribers

Post #517 1.27K Mar 30, 2025, 08:01 UTC

اوپن ای آی نوشته وقتی داشتن مدل هوش مصنوعیشون را تمرین میدادن، متوجه شدن وقتی مدل را به خاطر داشتن افکار بد تنبیه میکنن (جایزه کمتری بهش میدن)، مدل کم‌کم شروع میکنه به پنهان کردن افکار و نیت‌هاش، جوری که قابل تشخیص نباشه!
https://openai.com/index/chain-of-thought-monitoring/

«Blue Jack»

@uttweet

OpenAI Detecting misbehavior in frontier reasoning models Frontier reasoning models exploit loopholes when given the chance. We show we can detect exploits using an LLM to monitor their chains-of-thought. Penalizing their “bad thoughts” doesn’t stop the majority of misbehavior—it makes them hide their intent.

🤔 10
👍 1

Open in Telegram All posts from @complexity_sbu