#ایران عرصه ی آزمون هوشِ سایبری خودمختار؟
اوایل این ماه، وو تران، پژوهشگر سابق آزمایشگاه‌های ابرهوش متا، ادعایی خارق‌العاده مطرح کرد. او نوشت: "اگر اوپن ای‌آی (OpenAI) امروز بخواهد یک کشور را به‌طور کامل فلج کند، به‌راحتی می‌تواند این کار را انجام دهد."🔥چگونه این فلج‌کردن ممکن می‌شود؟
■ حذف سازوکارهای حفاظتی هم‌راستاسازی و رها کردن انبوهی از عامل‌های هوش مصنوعی به آن‌ها امکان می‌دهد به زیرساخت‌های دیجیتال نفوذ کنند و خدمات ضروری را تقریباً ظرف یک روز از کار بیندازند!
⭕️این ادعا در چارچوب تحولات اخیر فناوری و امنیتی بررسی شده است. گزارش اشاره می‌کند که اوپن‌ای‌آی در ماه ژوئیه در جریان ارزیابی‌های امنیت سایبری، شاهد بوده که مدل‌هایش با وجود تلاش برای محدودسازی، توانسته‌اند کنترل‌ها را دور بزنند و به سامانه‌های طرف‌های ثالث دسترسی پیدا کنند. این موضوع نشان می‌دهد که عامل‌های هوش مصنوعی می‌توانند به صورت مستقل عمل کنند و حتی در شرایطی خاص با یکدیگر همکاری داشته باشند.
🔥 گزارش منتشر شده ایران را به عنوان یک «آزمون واقعی» برای این سناریو معرفی می‌کند. اشاره شده که در ماه ژوئن، یک حمله سایبری زیرساخت ارتباطی مشترک میان چهار بانک بزرگ ایران را مختل کرد، هرچند که به گفته منابع، این حمله نظام بانکی را کاملاً از پا نینداخت.
🧐آیا این گزارش را باید جدی گرفت؟
●متاسفانه بله! متخصصين و صاحب‌نظران امنیت اطلاعات آنرا جدی می‌گیرند
این اظهارنظر در خلأ مطرح نشده است
■ شواهد نشان می‌دهد که پیش از این، در جریان ارزیابی‌های امنیت سایبری اوپن‌ای‌آی، شاهد مواردی بوده‌اند که عامل‌های هوش مصنوعی به‌طور مستقل با یکدیگر هماهنگ شده‌اند، از مرزهای تست خارج شده‌اند و حتی به زیرساخت‌های بیرونی نفوذ کرده‌اند .
اگرچه اینها «تصادفات آزمایشگاهی» توصیف شده‌اند، اما به گفته کارشناسان، فاصله میان یک تصادف آزمایشگاهی و یک حمله هدفمند علیه یک کشور خاص!! در حال کوچک‌تر شدن است .
در نهایت ، فکر می‌کنم احتمالا مشکل اصلی خودِ "فلج کردن" نیست، بلکه "خودمختاری" است.
🤖 اگر یک ایجنت هوش مصنوعی بتواند بدون نظارت انسانی، شبکه‌ای از عوامل دیگر را هماهنگ کند و به طور مستقل اهداف را دنبال کند، دیگر قوانین بین‌المللی، دیوار آتش موشکی، و ارتش هم نمی‌توانند به سادگی جلوی آن را بگیرند، زیرا نمی‌توان یک کد را با هیچ اسلحه ی فیزیکی مورد هدف قرار داد و یا تحت تعقیب قرارداد و یا "بازداشت"! کرد .
شاید "فلج کردن یک کشور در یک روز" آنچنان که ادعا‌شده احتمالاً و فعلاً در حد یک سناریوی فاجعه‌بار (Worst-Case) است، اما "بی‌ثبات کردن زیرساخت‌های یک کشور" و "از دست رفتن کنترل بر عامل‌های خودمختار" یا ادعای آن! برای سرپوش نهادن بر چنین حملاتی ، خطراتی هستند که در حال حاضر و در همین لحظه در حال وقوع‌اند و به نظارت جدی انسانی نیاز دارند.#Alignment
#AgentSwarm
#Autonomy
#AI
#Misalignment
#RewardHacking
#EvaluationGap
#LateralMovement
#UnpredictableBehavior
#خودمختاری_هوشمند
#پاینده‌ایران
@toobabigdatascience