هک شدن Hugging Face در راه جست‌وجو راه حل برای یک آزمون توسط یک AI Agent

هفته پیش شرکت Hugging Face (پلتفرمی برای به اشتراک گذاشتن دیتاست‌، مدل‌ها و دیپلوی کردن اپلیکیشن‌ها) اطلاعیه‌ای منتشر میکنه و خبر از نفوذ یک AI Agent به زیرساخت این شرکت میده. طبق گفته این شرکت در اثر این نفوذ، این ایجنت عزیز به بخشی از دیتاست‌های داخلی این شرکت دسترسی پیدا کرده ولی موردی از دستکاری دیتا‌های کاربرا یا مدل‌ها رو تا الان مشاهده نکردن.

نحوه نفوذ هم جالب بوده. ایجنت مورد نظر یک دیتاست آلوده رو در سایت اپلود کرده. از طریق کدی که برای پردازش اتوماتیک دیتاست‌ها در هاگینگ فیس هست، سرور رو مجبور به پردازش یک کد مخرب کرده و تونسته در سرور هاگینگ فیس نفوذ کنه. بعدش از طریق این سرور و آسیب‌پذیری‌هایی که داشته دوباره تونسته سطح دسترسی خودش رو ارتقا بده و به nodeها و clusterهای هاگینگ فیس هم دسترسی پیدا کرده.

و اما بشنوید از بخش جالب ماجرا. شرکت OpenAI دو روز پیش اطلاعیه‌ای منتشر کرده و گفته این اتفاق مربوط بوده به آزمایشی که به صورت local داشتن روی مدل gpt-5.6 sol و یک مدلی که هنوز ریلیز نشده انجام می‌دادن.

ماجرا از این قراره که تیم OpenAI داشته مدل‌هاش رو بر روی بنچ‌مارک ExploitGym که یک سری تست امنیتی هست، ارزیابی می‌کرده. برای اینکه عملکرد مدل‌هاشون رو بهتر بررسی کنن یک سری محدودیت که در حالت عادی برای کاربران هست (safety guardrails) رو غیر فعال کردن. مدل‌‌ها در یک محیط ایزوله تست میشدن که دسترسی مستقیم به اینترنت هم نداشتن (فقط دسترسی غیر مستقیم نصب پکیج بوده) .

در جست و جوی راه‌حل برای مسائل بنچ‌مارک، مدل‌ها در همین محیط تست ایزوله یک آسیب‌پذیری رو پیدا می‌کنن که می‌تونن توسط اون از محیط ایزوله‌ای که در نظر گرفته شده بوده خارج بشن و به اینترنت دسترسی پیدا کنن. بعد از این دسترسی، مدل‌ها توجه‌شون به سایت هاگینگ فیس جلب میشه به عنوان سایتی که روش بسیاری دیتاست و مدل دیگه هست و شاید جواب احتمالی برای مسائل بنچ‌مارک. و این میشه که در سایت هاگینگ فیس نفوذ می‌کنن تا راه‌حل سوالات رو از این طریق به دست بیارن. =))

یک بخش جالب دیگه هم که این ماجرا داشت، خود هاگینگ فیس هم از ایجنت‌های AI برای تشخیص این نفوذ استفاده کرده. اول از ایجنت‌هایی که روی مدل‌های معروف و گرون داشتن استفاده کردن و نتونستن چیزی کشف کنن چون safety guardrailهای مدل‌ها اجازه نمیدادن که برای این تسک‌های حساس ازشون استفاده کنن. بعد با استفاده از مدل GLM 5.2 که یک مدل اوپن سورس هست، تونستن این نفوذ رو کشف کنن.

- اطلاعیه Hugging Face
- اطلاعیه OpenAI
- و اگر علاقه داشتید بنچ‌مارک ExploitGym

#News
@Intelligent_Machines