🪔تذکره‌تُن:

نکته‌ی هشداردهنده این است که توسعه‌دهندگان معمولاً فکر می‌کنند امنیت LLM فقط مربوط به «خروجی‌های نامناسب» خود مدل است، اما این مقاله نشان می‌دهد که خروجی یک LLM (که توسط مهاجم دستکاری شده) می‌تواند مستقیماً وارد بخش‌های حیاتی وب‌اپلیکیشن شود و آسیب‌پذیری‌های کلاسیک و قدیمی را با شدتی بالاتر و در قالبی جدید احیا کند. به عبارت دیگر، LLM به یک تولیدکننده‌ی خودکار پِی‌لود های مخرب تبدیل می‌شود که از فیلترهای سنتی عبور می‌کنند.

🪄کلمات و ترکیبات تازه
●Prompt Injection
تزریق فرمان (پرامپت) نوعی حمله است که در آن دستورات مخرب در ورودی مدل زبانی قاطی می‌شود تا رفتار مدل تغییر کند.

●LLM-mediated attacks
حملات با واسطه‌گری LLM حملاتی ست که مدل زبانی بزرگ نقش پل یا واسطه را بین ورودی مهاجم و خروجی مخرب ایفا می‌کند.
●Sinks
نقاط پایانی آسیب‌پذیر در امنیت نرم‌افزار، به توابع یا محل‌هایی در کد گفته می‌شود که داده‌های ورودی بدون اعتبارسنجی، در آنجا اجرا یا تفسیر می‌شوند (مثل تابع ()eval در جاوااسکریپت یا تابع ()system در سیستم عامل).
●Attack Surface
سطح حمله مجموع تمام نقاط ورودی و خروجی‌هایی که مهاجم می‌تواند از آنها برای نفوذ استفاده کند.
●Systematize
نظام‌مند کردن / دسته‌بندی ساختاریافته یعنی ارائه‌ی یک چارچوب منظم و طبقه‌بندی‌شده برای شناسایی و تحلیل این آسیب‌پذیری‌ها.

#PromptInjection
#LLMs
@toobabigdatascience