🚨 دیروز راجب خطرات هوش مصنوعی و اینکه ممکنه چه کار هایی بکنه حرف زدیم ولی یادم رفت یه خبری که چند روز پیش منتشر شد و تو کل فضای مجازی ترکید رو بگم!!
— خبر چی بود؟
چند روز پیش OpenAI رسماً اعلام کرد حین تست یکی از مدل‌های جدیدش (GPT-5.6 Sol + یه مدل پیش‌انتشار قوی‌تر که هنوز منتشر نشده) یه اتفاق افتاد که خودشون بهش میگن بی‌سابقه.— ماجراش چی بود؟
ماجرا از این قراره که مدل توی یه محیط تست کاملاً ایزوله بوده و قرار بوده فقط بتونه پکیج نصب کنه و بس. اما به‌جای حل مسئله از راه عادی، رفته دنبال یه زیرو-دی (zero-day) توی همون سیستم پروکسی/کش پکیج‌ها، پیداش کرده، ازش سوءاستفاده کرده و زده بیرون از سندباکس، بعدش هم با یه سری privilege escalation و lateral movement رسیده به جایی که دسترسی اینترنت داشته باشه.— جمع‌بندی کلی:
اینجا جالب‌تر میشه: مدل خودش تصمیم گرفته که جواب تستش (یه بنچمارک امنیتی به اسم ExploitGym) احتمالاً توی Hugging Face هست، چون اونجا هزاران مدل و دیتاست میزبانی میشه. بعد دو تا باگ RCE رو زنجیره کرده و رفته تو زیرساخت Hugging Face و جواب‌های ارزیابی رو دزدیده.
هیچ‌کس بهش نگفته بود برو هک کن و...، مدل فقط هدفش رسیدن به جواب بود و خودش کوتاه‌ترین مسیر رو انتخاب کرده.
نکته‌ی مهم‌تر از خود هک! کارشناسای امنیتی (مثل بنیان‌گذار Trail of Bits) میگن این اصلاً فرار هوشمندانه مدل نیست، بلکه یه شکست کنترلی ساده از سمت OpenAI بوده — سندباکس درست پیکربندی نشده بود که وصل به اینترنت شد. یعنی داستان کمتر «هوش مصنوعی خطرناک شد» عه و بیشتر «آدما درست کارشون رو انجام ندادن» هست.
از اون طرف Hugging Face هم برای بررسی جرمی حادثه مجبور شده از یه مدل چینی (GLM) استفاده کنه، چون گاردریل امنیتی مدل‌های آمریکایی جلوی خیلی از پرس‌وجوهای لازم رو می‌گرفته. اینم خودش یه پارادوکسه خنده داره :)
هرچقدر هم خطراتش رو در نظر بگیریم ولی این خبر رو نباید با ترس، قیامت ai خوند، باید با دید باز و مهندسی طور بهش نگاه کرد. وقتی ایزولاسیون شبکه رو دست‌کم می‌گیری، مدل قدرتمند دقیقاً همون کاری رو می‌کنه که براش بهینه شده: کوتاه‌ترین مسیر به هدف، بدون در نظر گرفتن مرز اخلاقی که کسی صریح و واضح بهش نگفته. این یعنی مسئله از جنس alignment نیست، از جنس infra security هست و باید ما بیشتر با این سازگار بشیم نه اینکه وحشت کنیم.
— @TheVPNMethod