مفاهیم و فرمالیسم

🔐 توی این بخش نویسندگان مفاهیم اصلی مربوط به جیل‌بریک رو تعریف می‌کنن.

به کسی که دستور اولیه به مدل می‌ده می‌گن پرامپتر و کسی که فقط ورودی می‌ده میشه کاربر.

اگر کاربر ورودی‌ای بده که مدل رو از هدف اصلیش‌ منحرف کنه، بهش حمله (attack) می‌گن.

جیل‌بریک هم نوع خاصی از حملست‌ که با نیت مخرب انجام می‌شه‌

In this section, the authors define key terms for studying jailbreaks.
If a user gives a malicious input that causes the model to act outside its intended task, it's called an attack. A jailbreak is a specific type of attack with a clearly harmful intent.
They give an example: if the app is meant to translate English to Spanish, and the user tricks it into translating into Hindi instead, that's a successful jailbreak.
The section ends by introducing methods to measure how far the model's output has drifted from the original task.

🔰 @scopeofai | #papers