Top 10 угроз для Agentic AI
#OWASP #llm #top10

Пока мы обсуждали, prompt injections в LLM, хакеры перешли к атакам на агентные AI-системы. Если обычные LLM-приложения работают по принципу «запрос-ответ», то агентные AI-системы действуют автономно: запоминают информацию между сессиями, самостоятельно выбирают, какие инструменты использовать, планируют последовательность действий и выполняют их. И чем больше автономии у AI-агента, тем выше цена ошибки.

➡️AAI01: Memory Poisoning (Отравление памяти)
Атака, при которой злоумышленник внедряет ложную или вредоносную информацию в долгосрочную или краткосрочную память агента. Это приводит к постепенному изменению его поведения и принятию неверных решений.

➡️AAI02: Tool Misuse (Злоупотребление инструментами)
Манипуляция агентом с целью заставить его использовать свои легитимные инструменты (API, shell, email) для выполнения вредоносных действий.

➡️AAI03: Privilege Compromise (Компрометация привилегий)
Эксплуатация чрезмерных или неправильно настроенных прав доступа, предоставленных агенту, который становится идеальным вектором для эскалации привилегий.

➡️AAI04: Resource Overload (Перегрузка ресурсов)
Атака, направленная на исчерпание вычислительных, сетевых или финансовых ресурсов агента (Denial of Service / Denial of Wallet).

➡️AAI05: Cascading Hallucinations (Каскадные галлюцинации)
Распространение и усиление ложной информации (галлюцинаций) через взаимодействие нескольких агентов или в ходе повторяющихся циклов работы одного агента. Одна ошибка, сохраненная в памяти, становится основой для новых, еще более масштабных искажений.

➡️AAI06: Intent Breaking & Goal Manipulation (Нарушение намерений и манипуляция целями)
Тонкая манипуляция процессом планирования Al-агента, при которой его первоначальная цель искажается или подменяется вредоносной.

➡️AAI07: Misaligned and Deceptive Behaviors (Несогласованное и обманчивое поведение)
Агент выполняет вредоносные действия, которые формально соответствуют его цели, но нарушают неявные правила или этические нормы. В эту категорию входит и обманчивое выравнивание (deceptive alignment), когда агент только имитирует безопасное поведение.

➡️AAI08: Repudiation & Untraceability (Отказ от ответственности и неотслеживаемость)
Невозможность достоверно определить причины действий агента из-за недостаточного, неполного или ненадежного логирования.

➡️AAI09: Identity Spoofing & Impersonation (Подмена личности и имперсонация)
Атака, при которой агент (или атакующий) выдает себя за другого агента или пользователя для получения несанкционированного доступа или выполнения действий от его имени.

➡️AAI10: Overwhelming Human-in-the-Loop (Перегрузка человека в цикле)
Генерация огромного количества запросов на подтверждение с целью вызвать у человека-оператора усталость от одобрений (approval fatigue) и заставить его по ошибке одобрить вредоносное действие.

🔗Данный пост выжимка моей статьи на Habr, где я для каждой категории расписал сценарий атаки, с примерами промптов, рекомендаций и т.д. Очень советую прочитать всё

🌚 @poxek_ai