نتیجه‌گیری

🪤 مدل‌های زبانی بزرگ بسیار قدرتمندن، اما با خودشون نگرانی‌های امنیتی جدیدی هم میارن.
این مقاله یه چارچوب رسمی برای درک حملات جیل‌بریک معرفی می‌کنه.

توی این مقاله:

◾️ دقیقاً تعریف کردن که «انحراف مدل» یعنی چی

◾️ روش‌های مختلف حمله رو بر اساس نوع تغییر، هدف حمله، و فرد مهاجم دسته‌بندی کردن

◾️این روش‌ها رو به‌صورت عملی روی چند مدل (مثل GPT-3.5 و FLAN-T5) و چند وظیفه (مثل ترجمه و خلاصه‌سازی) آزمایش کردن

نتایج آزمایش‌ها نشون می‌ده:

▫️حمله‌های «شناختی» (مثل نقش‌آفرینی یا سناریوسازی) مؤثرترین بودن

▫️وظایف ساده مثل طبقه‌بندی احساسات سخت‌تر جیل‌بریک می‌شن

▫️مدل‌هایی مثل GPT-3.5 مقاومت بیشتری دارن، احتمالاً به‌خاطر آموزش بهتر و تنظیمات ایمنی

✔️ اما تشخیص جیل‌بریک همچنان سخته چون گاهی خروجی اشتباه می‌تونه دلیل دیگه‌ای داشته باشه، نه لزوماً حمله.

💭 در پایان، نویسندگان امیدوارن این مقاله بتونه پایه‌ای برای تحقیقات آینده در حوزه‌ی امنیت LLMها باشه، و ابزار مفیدی برای پژوهشگران و مهندسان فراهم کنه.

🔰 @scopeofai | #papers