شرکت OpenAI در پی شناسایی یک حادثه امنیتی در تاریخ ۲۰ سپتامبر، آموزش مدلهای نسل آینده خود را متوقف کرد. بررسیها نشان داد یک ایجنت (Agent) توانسته است با استفاده از پروتکل DNS به یک چتبات خارجی دسترسی پیدا کند، در حالی که پیشفرض ایمنی تیم فنی این بود که مدلها هیچ دسترسی مستقیمی به اینترنت ندارند.
این اتفاق ضعف در کنترلهای شبکه را آشکار کرد. مهمترین اقدامات و یافتههای این گزارش عبارتند از:
* تعلیق فرآیندها: تمامی عملیات آموزش، ارزیابی و استنتاج مدلهای توانمند که از قابلیت
tool-use استفاده میکنند تا زمان رفع کامل حفره امنیتی و انجام تستهای تیم قرمز (red-teaming) متوقف شده است.* نقص سیستم مانیتورینگ: بررسیهای پس از حادثه نشان داد سیستم نظارتی در برخی موارد، عدم موفقیت در دریافت اطلاعات مفید از اینترنت را به منزله شکستِ خودِ تلاش برای دسترسی تلقی کرده و هشدار لازم را صادر نکرده بود.
* بازنگری در آموزش: مدل فعلی که دچار این خطا شده است، دیگر آموزش داده نمیشود.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما