💎 حملات تزریق پرامپت چیست و چگونه می‌تواند به کلاهبرداری منجر شود؟

دستیارهای هوش مصنوعی فقط به پرسش‌های ما پاسخ نمی‌دهند؛ برخی از آن‌ها می‌توانند صفحات وب را بررسی کنند، ایمیل‌ها را بخوانند، فایل‌ها را باز کنند یا حتی با اجازه کاربر، پیام بفرستند و فرمان‌هایی را اجرا کنند. همین توانایی‌ها در صورت نبود محدودیت‌های امنیتی می‌تواند به ابزاری برای سوءاستفاده تبدیل شود.

🌀 تزریق پرامپت چگونه اتفاق می‌افتد؟
«تزریق پرامپت» زمانی رخ می‌دهد که مهاجم یک دستور مخرب را داخل صفحه وب، ایمیل، سند یا فایل قرار می‌دهد تا هوش مصنوعی آن را به جای محتوای عادی، به‌عنوان فرمان اجرایی بپذیرد.
برای مثال، شما از دستیار می‌خواهید یک سایت را خلاصه کند؛ اما در بخشی از آن صفحه، دستوری پنهان شده است که از هوش مصنوعی می‌خواهد اطلاعات موجود در حساب شما را جمع‌آوری و به نشانی دیگری ارسال کند.(مانند رمزهای عبور…)
 این متن ممکن است با رنگ سفید، اندازه بسیار کوچک یا در بخشی قرار گرفته باشد که کاربر آن را نمی‌بیند؛ با این حال، دستیار هوش مصنوعی قادر به خواندن آن است.
البته این حمله تنها زمانی خسارت واقعی ایجاد می‌کند که دستیار به اطلاعات حساس یا ابزارهای مهم دسترسی داشته باشد.

🌀 کلاهبرداران چگونه از این روش استفاده می‌کنند؟
تزریق پرامپت می‌تواند در موقعیت‌های مختلفی به سرقت اطلاعات یا کلاهبرداری منجر شود:
یک ایمیل آلوده ممکن است از دستیار بخواهد اطلاعات مخاطبان، پیام‌های قبلی یا فایل‌های پیوست را به مهاجم ارسال کند.
دستور پنهان‌شده در یک سایت می‌تواند هوش مصنوعی را به معرفی یک درگاه پرداخت جعلی یا تغییر شماره حساب یک فاکتور ترغیب کند.
فایل راهنمای یک پروژه ممکن است از دستیار کدنویسی بخواهد کلیدهای دسترسی، توکن‌ها یا محتوای فایل‌های محرمانه را منتشر کند.
یک سند مخرب می‌تواند دستیار را وادار کند هشدارهای امنیتی را نادیده بگیرد یا کاربر را به نصب برنامه‌ای آلوده تشویق کند.
در چنین شرایطی ممکن است کاربر تصور کند پیشنهاد یا پیام نمایش‌داده‌شده نتیجه بررسی هوش مصنوعی است؛ در حالی که پاسخ آن تحت تاثیر دستور مهاجم قرار گرفته است.

🌀 چگونه خطر را کاهش دهیم؟
به دستیار هوش مصنوعی فقط دسترسی‌هایی را بدهید که برای انجام همان کار ضروری است. ابزاری که قرار است یک متن را خلاصه کند، نباید اجازه ارسال ایمیل، اجرای فرمان‌های سیستمی یا دسترسی به تمام فایل‌های کامپیوتر را داشته باشد.
رمزهای عبور، کلیدهای خصوصی، عبارت بازیابی کیف پول و توکن‌های دسترسی را نیز در اختیار دستیار قرار ندهید. ارسال اطلاعات، پرداخت پول، نصب برنامه، تغییر شماره حساب و اجرای فرمان باید فقط پس از تایید مستقیم شما انجام شود.
همچنین لینک‌ها، شماره حساب‌ها و درخواست‌های مالی ارائه‌شده از سوی هوش مصنوعی را مستقلا بررسی کنید. اعتماد به یک دستیار نباید جای بررسی منبع اصلی را بگیرد.
در حمله تزریق پرامپت، مهاجم لزوما سیستم شما را مستقیما هک نمی‌کند؛ او تلاش می‌کند دستیار هوش مصنوعی را با یک دستور مخفی فریب دهد. خطر اصلی زمانی شکل می‌گیرد که این دستیار به ایمیل‌ها، فایل‌ها، حساب‌های کاربری یا ابزارهای اجرایی دسترسی گسترده داشته باشد.
محدود کردن دسترسی‌ها، محافظت از اطلاعات محرمانه و الزام تایید انسانی برای اقدامات حساس، مهم‌ترین راه‌های جلوگیری از تبدیل یک دستور پنهان به سرقت اطلاعات یا کلاهبرداری مالی هستند.

@iranopensource🌎