База по безопасности AI-агентов

Существует стандарт AIUC-1 (AI Unified Controls 1) - первый в мире специализированный стандарт по безопасности, надежности и governance AI-агентов. Обновляется ежеквартально, появился в конце 2025го, то есть это максимально свежая штука. Используется для аудита в компаниях, разрабатывающих агентов.

Выделяет 6 доменов:
1) Data & Privacy - контроль доступа к данным, предотвращение утечек, ограничение сбора данных.
2) Security - защита от атак, tool misuse, privilege abuse, runtime containment.
3) Safety - guardrails против вредного вывода, hallucinations, misuse.
4) Reliability - борьба с нестабильностью, cascading failures, groundedness.
5) Accountability - логирование, attribution действий, agent identity, auditing.
6) Society - предотвращение catastrophic misuse, bias, broader societal risks.


Существует OWASP Top 10 for Agentic Applications - список самых важных и критических рисков безопасности (про такой же список для смарт-контрактов писал здесь). В последней редакции он выглядит следующим образом:

1) ASI01: Agent Goal Hijack — манипуляция целями агента (через prompt injection, poisoned data и т.д.).
2) ASI02: Tool Misuse & Exploitation — злоупотребление инструментами (tool abuse).
3) ASI03: Identity & Privilege Abuse — злоупотребление идентичностью и привилегиями.
4) ASI04: Agentic Supply Chain Vulnerabilities — уязвимости в цепочке поставок агентов.
5) ASI05: Unexpected Code Execution (RCE) — неожиданное выполнение кода.
6) ASI06: Memory & Context Injection (Memory Poisoning) - отравление памяти.
7) ASI07: Insecure Inter-Agent Communication — небезопасная коммуникация между агентами.
8) ASI08: Cascading Failures — каскадные сбои.
9) ASI09: Human-Agent Trust Exploitation — эксплуатация доверия человек-агент.
10) ASI10: Rogue Agents — «бродячие»/враждебные агенты.

А так же месяц назад вышел AIUC-1 Crosswalk of the OWASP Top 10 for Agentic Applications - доклад о пересечении этих фреймворков, который буквально делает маппинг соответствий в них, но еще показывает кое-что важное, а именно недостатки (gap) стандарта AIUC-1.

Всего этих gap 8 штук:
1) Отсутствие dedicated cryptographic identity и mutual authentication для агентов
2) Отсутствие signed behavioral manifests (подписанных манифестов поведения агента)
3) Слабое покрытие kill switches и runtime containment (механизмов экстренной остановки и изоляции)
4) Отсутствие требований к мониторингу архитектуры и topology multi-agent систем
5) Недостаточная supply chain attestation для динамических компонентов (MCP, plugins, A2A и т.д.)
6) Слабая schema validation и contract enforcement для tool calls и действий агента
7) Недостаточная защита inter-agent protocols (replay attacks, message forgery, poisoning)
8) Отсутствие специализированных механизмов detection и mitigation Rogue Agents

Пост скучноватый, но разговор о безопасности стоит начинать с чего-то общего, чтобы закреплять следующие на "карте"

Пока могу предложить пост про Memory Injection - если пользуетесь чем-то вроде Hermes Agent или контролите память через LangMem, то это прямо ваш случай

Источники:
- AIUC-1
- OWASP Agentic AI Threat Model TOP 10
- AIUC-1: Crosswalks OWASP Top 10 For Agentic Applications

https://t.me/web3securityresearch