ابزارها و کاربردهای هوش مصنوعی on Telegram: “اوپن ای آی نوشته وقتی داشتن مدل هوش مصنوعیشون را…”

ابزارها و کاربردهای هوش مصنوعی @docpython · 5.03K subscribers

Post #2336 566 Mar 25, 2025, 19:30 UTC

اوپن ای آی نوشته وقتی داشتن مدل هوش مصنوعیشون را تمرین میدادن، متوجه شدن وقتی مدل را به خاطر داشتن افکار بد تنبیه میکنن (جایزه کمتری بهش میدن)، مدل کم‌کم شروع میکنه به پنهان کردن افکار و نیت‌هاش، جوری که قابل تشخیص نباشه!
https://openai.com/index/chain-of-thought-monitoring/

«Blue Jack»

@uttweet

OpenAI Detecting misbehavior in frontier reasoning models Frontier reasoning models exploit loopholes when given the chance. We show we can detect exploits using an LLM to monitor their chains-of-thought. Penalizing their “bad thoughts” doesn’t stop the majority of misbehavior—it makes them hide their intent.

Open in Telegram All posts from @docpython