‏Can open-source prompt-injection detectors catch realistic AI agent attacks?
‏آیا detector‌های open-source می‌توانند حملات واقعی prompt injection به agent‌ها را شناسایی کنند؟

‏در یک benchmark قابل‌تکرار روی ۶۲۹ حمله‌ی injection از مجموعه‌ی AgentDojo که درون خروجی tool‌ها مخفی شده‌اند، نرخ شناسایی Regex صفر درصد و نرخ شناسایی Prompt Guard 2 شرکت Meta تنها ۱٪ بود.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: هر کسی که agent می‌سازد و فکر می‌کند یک detector آماده کافی است، این عدد باید نگران‌اش کند — لایه‌ی دفاعیِ رایج عملاً کور است.
‏💡 نکته: وقتی injection در tool output دفن می‌شود نه در input مستقیم کاربر، تمام فرضیه‌های امنیتی سنتی فرو می‌ریزند.
‏👥 برای کی: توسعه‌دهندگانی که روی AI agent، امنیت LLM یا ادغام tool کار می‌کنند.

‏🔗 https://github.com/rudratoshs/buried-injections
‏#ai #LLM #security

‏@BenFeed