اگه به هک و امنیت علاقه دارید این پست هکرنون رو بخونید درباره امنیت مدل های هوش مصنوعیه
چون Prompt Injection شبیه SQL Injection نیست که با یک تکنیک استاندارد بشه اونو کاملاً حذف کرد. این حمله از نحوهی کار خود LLMها هستش پس هیچ فیلتر جادویی وجود نداره. راهکار واقعی، طراحی سیستم با فرض اینه که مدل ممکنه هر لحظه فریب بخوره.
این مقاله مفاهیمی مثل «مثلث مرگبار»، «قانون دو»، الگوی Dual-LLM سایمون ویلیسون، سیستم CaMeL گوگل دیپمایند و شش الگوی طراحی از یه مقاله سال 2025 رو معرفی میکنه:
hackernoon.com/you-cannot-filter-your-way-out-of-prompt-injection
@Linuxor
Post #4704
8.37K
