مقدمه

🎯 مدل‌های زبانی بزرگ مثل GPT-3 یا ChatGPT می‌تونن فقط با دریافت دستورهای ساده به زبان طبیعی، کارهای شگفت‌انگیزی انجام بدن.

از ترجمه و پاسخ دادن به سؤال‌ها گرفته تا نوشتن داستان.

اما همین انعطاف‌پذیری، یه مشکل جدید هم به‌وجود میاره: اگه یه کاربر خطرناک، درخواستش رو به‌صورت هوشمندانه بنویسه، می‌تونه کاری کنه که مدل دستورات اصلیش رو نادیده بگیره و از کنترل خارج بشه.
به این نوع حمله‌ها می‌گن «جیل‌بریک» یا «تزریق پرامپت».

Large language models (LLMs) like GPT-3 or ChatGPT can do amazing tasks from natural language instructions: translate text, answer questions, write stories, etc. However, this flexibility also creates new vulnerabilities. Researchers have discovered that just by cleverly changing the user’s prompt, an attacker can make the model ignore its original instructions or “go rogue”

🔰 @scopeofai | #papers