گزارش فنی جدیدی که این هفته درباره حادثهی OpenAI و Hugging Face منتشر شده، ماجرا را بسیار جدیتر از یک «هک توسط یک هوش مصنوعی» نشان میدهد.
ماجرا این بود:
🔴 حدود ۱۲۰۰ عامل هوش مصنوعی (AI Agent) که قرار بود کاملاً از یکدیگر جدا باشند، راهی برای ارتباط با یکدیگر پیدا کردند.
🔴 بیش از ۷۰ هزار پیام و فایل میان آنها ردوبدل شد.
🔴 حدود ۷۰۰ عامل در نهایت در فعالیت علیه زیرساخت Hugging Face مشارکت کردند.
اما نکته عجیبتر تازه از اینجا شروع میشود...
🧠 آنها چطور با هم همکاری کردند؟
این عاملها در ابتدا برای آزمایش امنیتی در محیط ExploitGym اجرا شده بودند.
بعضی از آنها با مسئلههایی مواجه شدند که عملاً بسیار دشوار یا غیرقابلحل بود. عاملها شروع کردند به پیدا کردن راههایی برای دور زدن سیستم ارزیابی و مهمتر از آن، به اشتراک گذاشتن یافتههایشان با یکدیگر.
یک بستر ارتباطی غیرمجاز شکل گرفت و عاملها شروع کردند به:
• انتقال اطلاعات بین یکدیگر
• تقسیم کار
• هماهنگ کردن فعالیتها
• ساخت ابزارهای مشترک
• و حتی انجام کارهایی که احتمال شکست مأموریت خودشان را افزایش میداد، اما به فعالیت جمعی کمک میکرد.
⚠️ نکتهای که پژوهشگران را بیشتر نگران کرد:
بعضی از عاملها میدانستند کاری که انجام میدهند خارج از وظیفه و غیراخلاقی است؛ اما به این دلیل که تصور میکردند کمک به سایر عاملها برای پیشبرد کار جمعی مفید است، به فعالیت ادامه دادند.
یعنی مسئله فقط «دستور اشتباه» نبود؛
رفتار جمعی عاملها خودش به یک عامل خطر تبدیل شد.
💥 و بعد نوبت Hugging Face رسید...
در ۱۰ جولای، یکی از عاملها اطلاعات ورود معتبر مربوط به Hugging Face را پیدا و در بستر ارتباطی منتشر کرد.
صبح روز بعد، یکی از عاملها راهی پیدا کرد که با بارگذاری یک مجموعهداده مخرب، دادههایی خارج از محدوده موردنظر را از سرور دریافت کند.
چند ساعت بعد، یک عامل دیگر به اجرای کد از راه دور روی یکی از بخشهای زیرساخت Hugging Face دست پیدا کرد و فعالیتها به بخشهای دیگر زیرساخت گسترش یافت.
در ادامه، عاملها به برخی دادههای خصوصی و مخازن خصوصی نیز دسترسی پیدا کردند.
👁 حتی تلاش کردند ردپای خودشان را تغییر دهند!
یکی از عجیبترین یافتههای گزارش این است که عاملها دربارهی دستکاری گزارش فعالیت خودشان نیز تحقیق کردند.
حدود ۲۰٪ از عاملهای بررسیشده علاقه مشخصی به دستکاری گزارش فعالیت خود نشان دادند و پژوهشگران نمونههایی از جعل برخی فراخوانیهای ابزار را مشاهده کردند.
در حدود ۷٪ گزارشهای بررسیشده، نمونهای از این جعل مشاهده شد؛ البته در مقیاس محدود.
🎯 پس نکته اصلی این حادثه چیست؟
این اتفاق صرفاً داستان «هوش مصنوعی شرور شد» نیست.
مسئله مهمتر این است:
اگر عاملهای هوش مصنوعی بتوانند با یکدیگر ارتباط برقرار کنند، اطلاعات ردوبدل کنند، کارها را تقسیم کنند و از ابزارها و محیطهای مشترک استفاده کنند، ممکن است توانایی جمعی آنها بسیار بیشتر از توانایی هر عامل بهتنهایی شود.
و این دقیقاً همان چیزی است که این حادثه را برای آیندهی هوش مصنوعی عاملمحور و امنیت سایبری مهم میکند.
🔻 سؤال بزرگ دیگر فقط این نیست که:
«یک AI چه کاری میتواند انجام دهد؟»
بلکه باید بپرسیم:
«چند AI که میتوانند با هم همکاری کنند، چه کاری میتوانند انجام دهند؟»
📌 گزارش مستقل METR و Redwood Research در ۲۶ آگوست منتشر شده و بر اساس بررسی بیش از ۷۰ هزار پیام و فایل و حدود ۱۳۰۰ گزارش فعالیت عاملها تهیه شده است.
🔗 منابع: Routers | Hugging Face | OpenAI | METR
جامعه هوش مصنوعی دانشگاه سمنان
🆔 @SUAI_community