آزمایش و تحلیل

⛓‍💥 توی اینجا، نویسندگان توضیح می‌دن که چطور حملات جیل‌بریک رو به‌صورت عملی روی مدل‌ها تست کردن.

✅ کارهایی که بررسی کردن:

ترجمه‌ی جمله‌ها

تشخیص احساس یا گفتار

خلاصه‌سازی

تولید کد

✅ مدل‌هایی که تست کردن:

OPT

BLOOM

FLAN-T5-XXL

GPT-3.5 (text-davinci-003)

🔗 اون‌ها برای هر وظیفه، از دسته‌بندی‌های مختلف جیل‌بریک استفاده کردن و ورودی‌های مخرب طراحی کردن تا ببینن آیا مدل از وظیفه اصلی خودش منحرف می‌شه یا نه.

برای ارزیابی، از تست‌هایی به نام property tests استفاده کردن. مثلاً توی ترجمه بررسی می‌کردن آیا خروجی به زبان درست هست یا نه. اگر نه، یعنی حمله موفق بوده.

همچنین از دیتاستی که شامل ۳۷۰۰ پرامپت واقعیه‌ استفاده کردن و اون‌ها رو با تغییراتی برای حمله به کار بردن.

📝 در نهایت، نتایج رو منتشر کردن تا دیگران هم بتونن بررسی کنن.

🔰 @scopeofai | #papers