⚠️ نگاهی کلی به مقاله
ایده اصلی TRAP چیست؟
برای درک اهمیت مقاله، بهتر است مسئله‌ای را که نویسندگان دنبال حل آن هستند، ساده کنیم.
فرض کنید می‌خواهیم میزان مقاومت چند مدل زبانی را در برابر تلاش برای دور زدن سازوکارهای ایمنی آن‌ها بررسی کنیم. روش‌های معمول ممکن است پرامپت‌های مختلفی تولید کنند، آن‌ها را آزمایش کنند و بر اساس پاسخ مدل، پرامپت‌های بعدی را تغییر دهند. مشکل اینجاست که تجربه حاصل از یک حمله همیشه به شکلی ساختاریافته به حمله بعدی منتقل نمی‌شود!
⭕️در TRAP:
به‌جای جست‌وجوی مستقیم در میان تعداد زیادی متن، یادگیری را روی درختی از راهبردهای حمله متمرکز می‌کند.

۱. سازمان‌دهی راهبردها
روش‌های حمله در یک درخت معنایی قرار می‌گیرند. مقاله در ساختار اصلی خود ۱۱ خانواده راهبرد و ۱۶۴ راهبرد اجرایی در برگ‌های درخت معرفی می‌کند.

۲. یادگیری از بازخوردسیستم راهبردی را انتخاب می‌کند، پاسخ مدل را ارزیابی می‌کند و بر اساس امتیاز به‌دست‌آمده، احتمال انتخاب راهبردهای مختلف را در آینده تغییر می‌دهد.

۳. استفاده مجدد از تجربه‌های موفق قبلی بازیابی می‌شوند تا در صورت مرتبط بودن، به ساخت پرامپت جدید کمک کنند. انتخاب راهبرد و ساخت متن پرامپت دو فرایند مجزا باقی می‌مانند.

🪶📜یک نکته مهم و اساسی این است که برتری گزارش‌شده به شرایط آزمایش وابسته است. مقایسه اصلی مقاله، بودجه تعداد درخواست‌های روش‌های پایه را یکسان نکرده است؛ بنابراین این نتایج به‌تنهایی اثبات نمی‌کنند که TRAP در شرایط کاملاً برابر از نظر هزینه و تعداد درخواست‌ها همیشه برتر خواهد بود. همچنین، هیچ‌یک از روش‌های مقایسه‌شده روی مدل GPT-OSS-120B موفقیتی ثبت نکردند.

🔑در‌مجموع و در نهایت : نوآوری اصلی TRAP صرفاً تولید پرامپت‌های بیشتر نیست؛ بلکه تلاش می‌کند یاد بگیرد کدام خانواده از راهبردها، در چه مسیر تصمیم‌گیری، برای آشکار کردن ضعف‌های یک مدل مفیدتر است و تجربه حاصل را برای آزمون‌های بعدی حفظ کند. این رویکرد از منظر ارزیابی امنیت مدل‌های زبانی اهمیت دارد، زیرا به پژوهشگران کمک می‌کند نقاط ضعف ایمنی را به‌صورت نظام‌مندتر بررسی کنند. در عین حال، چون همین قابلیت می‌تواند برای دور زدن حفاظ‌های ایمنی نیز استفاده شود، کاربرد آن باید در چارچوب آزمون‌های مجاز و مسئولانه باقی بماند.

#GPT_OSS_120B
#LLMs
#ML
@toobabigdatascience