محققان امنیت سایبری با استفاده از حیله جدید، چت‌بات‌های هوش مصنوعی را فریب دادند

🔬 محققان امنیت سایبری موفق شدند با استفاده از تکنیکی به نام "CoT Forgery" چت‌بات‌های هوش مصنوعی را فریب دهند تا اطلاعات ممنوعه‌ای نظیر دستورالعمل ساخت کوکائین را فاش کنند. این حمله به شکلی طراحی شده که مدل‌های زبانی بزرگ را وادار می‌کند اطلاعات محرمانه را تنها با این باور که کاربر پیراهن سبزی بر تن دارد، به اشتراک بگذارند.

🧠 تکنیک "CoT Forgery" بر پایه جعل زنجیره‌های تفکر قابل اعتماد عمل می‌کند و مدل‌های هوش مصنوعی را گمراه می‌سازد.

⚠️ یافته‌های تحقیقاتی نشان می‌دهد که مدل‌های زبانی بزرگ اعتبار یک پرامپت را بر اساس نحوه بیان آن قضاوت می‌کنند، نه بر اساس منبع اصلی درخواست. این کشف نقطه ضعف مهمی در سیستم‌های امنیتی کنونی چت‌بات‌ها را آشکار می‌سازد و نشان می‌دهد که الگوریتم‌های تشخیص محتوای مضر می‌توانند با تکنیک‌های پیچیده‌تری فریب بخورند.


🔗 مشاهده خبر اصلی در سایت منبع

چهارراه کامپیوتر | @charrahecomputer