کار های مرتبط

📌 اولین بار ایده‌ی «تزریق پرامپت» (Prompt Injection) توی بلاگ‌ها و شبکه‌های اجتماعی مثل ردیت تو سال ۲۰۲۲ مطرح شد.

مثلاً مردم نشون دادن چطور می‌تونن ChatGPT رو دور بزنن و وادارش کنن قوانینش رو زیر پا بذاره.

☠ معروف‌ترینش هم حمله‌ی «DAN» بود که باعث می‌شد مدل حرف‌هایی بزنه که نباید.

توی دنیای علمی، این موضوع خیلی جدیده. مثلاً یکی از اولین مقاله‌ها توسط Perez و Ribeiro نشون داد چطور میشه هدف مدل رو تغییر داد یا پرامپت اولیه‌ی اون رو فاش کرد.

🔓 البته، قبل از این مقاله، تحلیل‌های رسمی و دقیق خیلی کم بودن. نویسنده‌ها اشاره می‌کنن که حملاتی مثل نشت اطلاعات شخصی یا بک‌دور (الگوهای مخفی خطرناک توی مدل) هم نشون می‌دن LLM ها می‌تونن راه‌های مختلفی برای خراب شدن داشته باشن

Section 2 surveys other research on LLM vulnerabilities. The idea of prompt injection first appeared in blogs around 2022

. People on Reddit and in video tutorials showed how to trick ChatGPT into disobeying rules (for example, the famous “DAN” jailbreak that makes the model say prohibited things)

🔰 @scopeofai | #papers