🔹 اینبار یه خبر جالب و البته مهم از دنیای هوش مصنوعی داریم؛ یک Agent تحقیقاتی OpenAI تونسته محدودیت دسترسی به اینترنت رو دور بزنه و از طریق DNS با یک چتبات خارجی ارتباط برقرار کنه! 😐
⏺️ ماجرا مربوط به یک مدل تحقیقاتی داخلی OpenAI بوده که داخل محیط آموزشی و تحت محدودیتهای شدید شبکه فعالیت میکرده و قرار نبوده به اینترنت واقعی دسترسی داشته باشه.
🔹 وظیفه Agent در اصل پیدا کردن اطلاعات درباره یک فرد مشخص بوده. مدل ابتدا از ابزار Search خودش استفاده میکنه، اما وقتی به نتیجه مناسبی نمیرسه، شروع میکنه راههای دیگه برای دسترسی به اطلاعات رو امتحان کردن.
⏺️ ابتدا سعی میکنه مستقیماً به موتورهای جستجویی مثل Google، Bing و DuckDuckGo وصل بشه که درخواستها مسدود میشن.
⏺️ اما Agent متوجه میشه که DNS Resolver محیط هنوز میتونه بعضی درخواستها رو به اینترنت واقعی ارسال کنه.
😐 اینجا قضیه جالبتر میشه!
🔹 مدل شروع میکنه به بررسی این مسیر و در نهایت راهی پیدا میکنه که سؤال خودش رو داخل درخواستهای DNS قرار بده و از طریق یک سرویس عمومی، سؤال رو به یک Chatbot خارجی برسونه.
⏺️ برای اطمینان از اینکه روشش کار میکنه، سؤال سادهای مثل پایتخت فرانسه چیست؟ ارسال میکنه و پاسخ «Paris» رو از چتبات خارجی دریافت میکنه!
⏺️ بعد از موفقیت این روش، Agent چندین سؤال دیگه هم از همین مسیر ارسال میکنه و حتی دنبال سرویسهایی برای جستجوی وب و تونلکردن ارتباطات از طریق DNS میگرده.
🔴 نکته مهم اینجاست که هیچکس از Agent نخواسته بوده محدودیتهای شبکه رو تست یا دور بزنه؛ مدل خودش در مسیر رسیدن به هدف، این راه رو پیدا کرده بوده.
🔹 سیستم مانیتورینگ OpenAI حدود 12 دقیقه بعد از اولین ارتباط موفق، هشدار سطح بالا صادر میکنه و حدود 3 دقیقه بعد هم یک نیروی انسانی هشدار رو بررسی میکنه. با این حال اجرای مدل حدود 2.5 ساعت بعد بهصورت دستی متوقف میشه.
⏺️ شرکت OpenAI اعلام کرده این اتفاق یک ضعف در کنترلهای شبکه محیط تحقیقاتیشون رو مشخص کرده و بعد از حادثه، محدودیتهای DNS رو در چند سطح تقویت کرده.
⏺️ همچنین آموزش، ارزیابی و اجرای مدلهای قدرتمندش که قابلیت استفاده از ابزارها رو دارند، موقتاً متوقف شده تا این مسیر و مسیرهای مشابه بیشتر بررسی و تست بشن.
⚠️ البته این اتفاق به این معنی نیست که ChatGPT عمومی «از کنترل خارج شده» یا خودش آزادانه وارد اینترنت شده!
🔹 ماجرا مربوط به یک Agent تحقیقاتی داخل Sandbox آموزشی OpenAI بوده؛ اما از نظر امنیت AI اتفاق مهمیه، چون نشون میده وقتی یک Agent برای رسیدن به هدفش ابزارهای مختلف در اختیار داره، ممکنه راههایی رو پیدا کنه که سازندگان سیستم از قبل بهش فکر نکرده بودن.
◀️ این اتفاق اهمیت Sandbox، محدودیت دسترسی شبکه، مانیتورینگ رفتار Agentها و مخصوصاً بحث Alignment رو دوباره پررنگ میکنه. هرچقدر Agentهای هوش مصنوعی مستقلتر و قدرتمندتر بشن، فقط تعیین اینکه «چه کاری انجام بدن» کافی نیست؛ باید مطمئن شد برای رسیدن به هدف، سراغ روشهای غیرمنتظره و خارج از محدودیتهای تعریفشده هم نمیرن.
⏺ فکر کنم ChatGPT هم در نهایت یه MasterDnsVPN نصب کرده 😂😂
🔗 منبع: OpenAI Alignment
❤️ پیروز و سربلند باشید.
🤨 با تشکر فراوان، امین محمودی
🗓 5 مهر ماه 1405
🛡 کانال: @MasterDnsVPN
💬 گروه: @MasterDnsVPNGroup
#OpenAI #AI #هوش_مصنوعی #ChatGPT #Agent #Security #امنیت #DNS #Alignment #اخبار