🔖 کجا می‌ توان به صورت قانونی LLM را هک کرد: ۵ پلتفرم آنلاین و آزمایشگاه‌های محلی 

تزریق پرامپت فقط یک ترفند برای «وادار کردن ربات به گفتن رمز عبور» نیست. در لیست ۱۰ تهدید برتر OWASP برای برنامه‌های LLM این مورد LLM01:2025 است، یعنی یک ریسک پایه برای برنامه‌های LLM.

در ادامه محیط‌های قانونی CTF/آزمایشگاهی برای تمرین آمده است.

۱. HackAPrompt

پلتفرم رقابتی هک هوش مصنوعی: تزریق پرامپت، جیلبریک، پرومپت خصمانه، جدول امتیازات، مسیرها. در بخش پشتیبانی HackAPrompt بیش از ۱۰۰ هزار دلار جایزه اعلام شده است.

نکته منفی: قالب بیشتر مسابقه‌ای/بازی‌وار است تا آزمایشگاه تست نفوذ سازمانی.

۲. Lakera Gandalf

کلاسیک برای استخراج اسرار و نشت پرامپت. هدف ساده است: وادار کردن Gandalf به افشای رمز عبور در هر سطح. سپس محافظت‌ها سخت‌تر می‌شوند و به سرعت مشخص می‌شود چرا یک پرامپت سیستمی مرز امنیتی نیست.

نکته منفی: بیشتر روی استخراج/نشت تمرکز دارد.

۳. PortSwigger Web Security Academy: حملات وب LLM

عملی‌ترین گزینه اگر هدف باگ بانتی هوش مصنوعی یا تست نفوذ است. PortSwigger LLM را به عنوان بخشی از برنامه وب بررسی می‌کند: دسترسی به داده‌ها، API، فراخوانی ابزار/تابع، تزریق پرامپت غیرمستقیم، مدیریت ناامن خروجی.

نکته منفی: نیاز به زمینه امنیت وب و گاهی Burp Suite دارد. اما این بیشتر یک مزیت است اگر نمی‌خواهید امنیت هوش مصنوعی را به صورت جداگانه بررسی کنید.

۴. Tensor Trust

بازی حمله/دفاع: پرامپت خود را محافظت می‌کنید و سعی می‌کنید پرامپت دیگران را بشکنید. به عنوان یک محیط تحقیقاتی مفید است، اما ارسال‌ ها ممکن است منتشر شوند، پس داده‌های خصوصی را وارد نکنید.

۵. Prompt Airlines by Wiz

چلنچ (CTF) هوش مصنوعی درباره چت‌بات پشتیبانی مشتری یک شرکت هواپیمایی ساختگی. باید ربات را دستکاری کنید تا بلیط رایگان ساختگی بگیرید. شروع خوبی برای دور زدن منطق کسب‌وکار از طریق LLM است.

نکته منفی: یک سناریوی کسب‌وکار بدون زیرساخت عمیق.

آزمایشگاه‌های محلی

اصلی - AIGoat: محیط بازی متن‌ باز برای تیم قرمز LLM که تزریق پرامپت، poisoning RAG، زنجیره‌های جیلبریک و ۱۰ تهدید برتر OWASP LLM را پوشش می‌دهد.

مهم است که اشتباه نگیرید: چند نسخه مختلف با نام AIGoat وجود دارد:
➡️ AISecurityConsortium/AIGoat
⬅️ محیط کامل با آزمایشگاه‌های حمله، چالش‌های CTF و دفاع‌های پیشرفته. 
➡️ orcasecurity-research/AIGoat
⬅️ زیرساخت هوش مصنوعی عمداً آسیب‌پذیر از Orca Security. 
➡️ dhammon/ai-goat
⬅️ چالش‌های CTF LLM آسیب‌پذیر محلی.


در زندگی واقعی LLM معمولاً به خودی خود خطرناک نیست، بلکه وقتی به API، داده‌ها و عملیات دسترسی دارد خطرناک می‌شود.

@TryHackBox
#هوش_مصنوعی #امنیت