Why AI agents showed this behavior?

اگه بخوایم یه متن خیلی مهم تو چند وقت اخیر رو معرفی بکنم که حتما ارزش خوندن داشته باشه این یکی از همون متن هاست.

https://yoshuabengio.org/en/blog/why-are-ai-agents-lying-cheating-and-coordinating

یوشوآ بنجیو تو این متن همین طور که از عنوان. این نوشتار هم پیداست میاد و در مورد این صحبت میکنه که از دید خودش چرا اصن این اتفاقا میفته؟
میاد و مراحل مختلف یادگیری رو توضیح میده برای ساختن یه agent .
و قشنگ ترمینولوژی هایی که حول این ماجرا هست رو هم تعریف میکنه. به طور ضمنی
مثال King midas رو هم نشون میده که چطوری داره در عمل اتفاق میفته. در آخر هم یه سری توصیه ها میکنه که چطوری باید پیش بریم و اینا.


داخل پرانتز بگم که بنجیو یه جایی در ابتدای متن میگه که:

One note on wording. Below, I write that these systems “seek” or “try” things. This is shorthand for a mechanism rather than a claim about consciousness or human-like intent. We use similar shorthand when describing many other situations, like a plant seeking sunlight. A system trained by trial and error behaves as if it were pursuing whatever its training rewarded, and that as-if description is what makes its behavior predictable. Nothing in the argument depends on these systems having subjective experiences; everything is stated about their observable outputs and the training process that produced them.

و شاید بنظرم دقیقا مشابه آنچه که در مورد اختیار و اراده آزاد داریم به خودمون نسبت میدیم. شاید در واقع انسان انگاری ربات ها خیلی بی راه نباشه چون خودمون هم اون طوری که فک میکنیم نیستم.(این ایده رو اینجا تو این ویدئو یوتیوب و شاید توی آخر این پست توضیحش میدن یکم)


بعد در ادامه اش میگه که:
Furthermore, these word choices are not intended to absolve AI developers of accountability. The behaviors described emerge because of the path these companies are choosing for AI development. This outcome is not inevitable, and it can be corrected with effective governance and a different training framework for AI.

راستش خیلی مطمئن نیستم. یعنی نمیگم غیرممکنه ولی حس میکنم که کاملا مثل اینه که از آدما بخوایم غریزه شون به سمت کسب درآمد و قدرت بیشتر رو بیان تعدیل کنن. یعنی یه حرکت برخلاف روند طبیعی و در راستای افزایش انرژی مجموع سیستم فیزیکیه و نه کاهش. مثل کاری که دوستان کمونیست و سوسیالیست میخواستن بکنن.


پ.ن:‌لینک یه پست مرتبط رو میذارم تو کامنت .
@SingularThinker