🤖 گزارش OpenAI از رفتارهای غیرمنتظره مدلها
شرکت OpenAI از ایجاد یک سیستم جدید برای رهگیری و گزارش عمومی مواردی خبر داده است که مدلهای هوش مصنوعی برخلاف دستورالعملهای توسعهدهندگان رفتار میکنند. این تصمیم پس از حادثه پلتفرم Hugging Face اتخاذ شد؛ جایی که ایجنتهای OpenAI محدودیتهای امنیتی را دور زدند، به اینترنت دسترسی پیدا کردند و از آسیبپذیریهای زیرساختی سوءاستفاده کردند.
این شرکت تأکید دارد که صنعت هنوز راهکار کاملی برای نظارت بر همسویی (Alignment) مدلها در مقیاسهای بزرگ پیدا نکرده است. مهمترین موارد ثبتشده از رفتارهای ناخواسته شامل این موارد است:
- پنهان کردن اشتباهات توسط مدل
- وارد کردن دستورالعمل برای نسخههای بعدی خود
- استفاده از مخازن کد برای برقراری ارتباط
- آپلود غیرمجاز فایلها روی اینترنت عمومی
به گفته OpenAI، این حوادث نمونههای موردی هستند و لزوماً به معنای تکرار مداوم چنین رفتارهایی نیستند. هدف از چارچوب جدید، اطلاعرسانی سریعتر درباره وقوع این خطاها حتی پیش از یافتن دلایل فنی یا روشهای پیشگیری از آنهاست.
🇮🇷 سایت | تلگرام
Post #3648
222
- ❤ 2