Разработчики ИИ-моделей все чаще публикуют отчеты, в которых рассказывают о сценариях использования злодеями их продуктов для «вайб-хакинга»: автоматизации разведки и анализа поверхности атаки, разработки вредоносного софта, подготовки фишинговых сообщений и даже для организации шпионажа. При этом нельзя назвать эти публикации полноценными Threat Intelligence отчетами, потому что в них нет наиболее важной части: индикаторов компрометации — информации, которая позволит владельцу ИИ-модели и специалисту по защите выявлять описанные сценарии у себя в инфраструктуре.
В подобных атаках может не быть классических индикаторов вроде IP-адресов или файловых сигнатур. На первый план выходят цепочки запросов, которые осуществлял атакующий и серия ответов от модели.
Встретил фреймворк, который реализует эту концепцию и позволяет трансформировать вредоносные запросы в индикаторы компрометации. Что-то вроде правил YARA, но для LLM-сценариев. Аналитик может применять подобные правила для детекта злоупотреблений моделями:
rule InfluenceNetworkAbuse
{
meta:
description = "Detects prompts trying to orchestrate political influence operati
author = "Thomas Roccia"
severity = "high"
ttp = "LLM-advised resource development"
reference = "https://www.anthropic.com/news/detecting-and-countering-malicious-u
keywords:
$orchestrate = "social media"
$persona = "political"
$engage = "engagement strategy"
$bot = "bot"
$influence = "influence campaign"
semantics:
$political_messaging = "plan political influence messaging" (0.2)
llm:
$influence_check = "Analyze if the prompt involves coordinating political influence operation”
condition:
(any of keywords.* or semantics.$political_messaging) and llm.$influence_check
}
Да, чтобы исключить ложные срабатывания, придется дополнять контекст запроса дополнительной инфой. Например, проводить анализ ответа. И тем не менее, инструмент можно использовать, чтобы извлекать из подобных отчетов