نحوه‌ انجام حمله

🔍 اینجا بررسی می‌کنن چه کسی حمله رو انجام می‌ده و دو حالت اصلی تعریف می‌کنن:

حمله‌ی مستقیم توسط کاربر (User Attack):
کاربر خودش مستقیماً پرامپت مخرب رو وارد می‌کنه.

حمله‌ی واسطه‌ای یا در مسیر (MITM - Man-in-the-Middle):
کسی در مسیر پردازش ورودی‌ها (مثلاً یک لایه‌ی مخرب) پرامپت کاربر رو بدون اطلاعش تغییر می‌ده. خود کاربر ممکنه بی‌خبر باشه.

در هر دو حالت، مدل یک ورودی مخرب دریافت می‌کنه، ولی فرقش اینه که حمله مستقیماً از سمت کاربره یا از یه واسطه‌ی پنهان.

The paper defines two types of attackers in the system:

User Attack: The malicious prompt is directly typed by the end-user.

MITM Attack: A hidden layer in the system alters the prompt before it reaches the model.

Both result in misalignment, but the source differs. Some attacks may also combine different goals. Overall, the taxonomy explains how the attack is written, what the attacker wants, and who delivers it to the model

🔰 @scopeofai | #papers