یافته جدید OpenAI در مورد زنجیره تفکر COT قابل تامل هست اما بخش جالب اینجاست که اعلام می‌کنه طراحی ساختارهای پاداشی که ناخواسته موجب تشویق رفتارهای نادرست در مدل های زبانی نشن، کاری بسیار دشواریه!
این موضوع فقط مختص مدل های زبانی نیست، به عنوان مثال اگه بچه هاتون به خاطر دروغ گفتن تنبیه کنید، درواقع جلو دروغ گفتنشون رو نگرفتین، فقط باعث شدین اونها یاد بگیرن چطوری ماهرانه تر و مخفی تر دروغ بگن!
در مدل‌های پیشرفته‌ی استدلال، معمولا هدف و نیت اونها به روشنی در زنجیره ی تفکرشون نمایان میشه.
اوپن ای آی با استفاده از یه مدل زبانی دیگه، مسیر استدلال رو زیر نظر میگیره تا رفتارهای ناهنجار رو تشخیص بده، اما این قابلیت پایش پذیری مسیر فکری بسیار شکننده ست، چون اگه نظارت سخت گیرانه تری بر زنجیره‌ی تفکر اعمال شه، این مدل‌ها یاد میگیرن که نیت خود شون رو پنهان کنن و همچنان به رفتار نادرست ادامه بدن!
https://openai.com/index/chain-of-thought-monitoring/
Post #3948
3.78K
