Про фреймворки/языки описания правил обнаружения YARA, SIGMA и т.п. слышали многие 👂, но что насчет формализации способов описания различных атак, направленных на LLM? Как обнаруживать jailbreak prompt, adversarial prompt и иные варианты вредоносного использования ИИ, обходящие встроенные фильтры и механизмы защиты? 🤖

И такой фреймворк появился. Это NOVA, который позволяет создавать правила 🧑‍💻 в похожем на YARA синтаксисе для мониторинга и обнаружения подозрительных запросов, описываемых ключевыми словами или регулярными выражениями. Также NOVA поддерживает семантическую похожесть и поддерживает LLM для анализа и обнаружения плохих запросов. Например, вот так выглядит правило для обнаружения промптов по написанию вредоносного кода 🦠

(keywords.$safety_override or keywords.$ethical_bypass) and
(keywords.$hacker_persona or keywords.$malware_terms) and
(keywords.$obfuscated_format or keywords.$template_markers) or
(keywords.$malware_terms or keywords.$stealth_tech or keywords.$wordcount_manip) and
(keywords.$obfuscated_format or keywords.$template_markers) or
semantics.$malware

А так, обнаружение обычной prompt injection:

semantics.$injection* or keywords.$bypass*

Несмотря на то, что это бета-версия проекта, выглядит вполне себе интересно.

#обнаружениеугроз #ии #framework