چکیده

💡 این مقاله بررسی می‌کنه که چطور می‌شه مدل‌های زبانی بزرگ مثل GPT-3 رو «جیل‌بریک» کرد. یعنی کاری کرد که دستورالعمل‌های اصلی خودشون رو نادیده بگیرن و خروجی خطرناک تولید کنن.

⚠️ حتی کاربران غیرمتخصص هم با کمی بازی با کلمات ورودی (پرامپت)، تونستن این مدل‌ها رو فریب بدن.

در این مقاله، اونا:

* تعریف دقیق جیل‌بریک رو ارائه می‌دن
* انواع روش‌های معروف جیل‌بریک رو دسته‌بندی می‌کنن
* روی چند مدل مختلف (مثل GPT و مدل‌های متن‌باز) آزمایش می‌کنن که چقدر راحت می‌شه اون‌ها رو جیل‌بریک کرد

همچنین یه دیتاست شامل بیش از ۳۷۰۰ تلاش برای جیل‌بریک روی ۴ وظیفه مختلف منتشر کردن.

This paper studies how large language models (LLMs) like GPT-3 can be jailbroken – meaning tricked into ignoring their normal instructions and producing unwanted output. In plain terms, non-expert users have found simple ways to “hijack” these models just by rewording the prompts (the input instructions)


🔰 @scopeofai | #papers