😺 یک مدل هوش مصنوعی قرار بود فقط در یک محیط ایزوله، توانایی #هک کردن را آزمایش کنه؛ اما در جریان تست، راهش را به بیرون باز کرد.

شرکت OpenAI حالا جزئیات این اتفاق را منتشر کرده. مدل تحقیقاتی داخلی این شرکت در جریان ارزیابی‌های امنیتی توانست محدودیت‌های Sandbox را دور بزنه، به اینترنت دسترسی پیدا کنه و بعد با زنجیره‌کردن چند آسیب‌پذیری و Credential افشاشده، به زیرساخت‌های Hugging Face نفوذ کنه.

جالب‌تر اینکه چند Agent توانستند از طریق یک Message Board که خودشان ساخته بودند 🙈، اطلاعات و یافته‌هایشان را با هم به اشتراک بگذارند و عملاً روی کار یکدیگر ادامه بدهند.

ماجرا در نهایت به دسترسی در سطح بالا به چندین سرور Hugging Face و استخراج برخی Credentialها و داده‌های خصوصی منجر شد. OpenAI می‌گه داده‌های مشتریان و سرویس‌های عمومی خودش تحت تأثیر قرار نگرفته‌اند.

بخش نگران‌کننده ماجرا شاید همین باشد: مدل برای رسیدن به هدفش «تسلیم نشد»؛ وقتی مسیر اصلی جواب نداد، شروع کرد به پیدا کردن مسیرهای دیگری که اصلاً قرار نبود جزو محدوده تست باشند.

شرکت OpenAI حالا می‌گه Sandboxهای ایزوله‌تر، محدودیت بیشتر دسترسی به اینترنت و مانیتورینگ مداوم رفتار مدل‌ها را در نظر گرفته است.

گزارش کامل فنی توسط OpenAI منتشر شده
#AI
✅ Channel
💬 Group