OWASP Top 10 для агентских приложений
Стандарты кибербезопасности Open Web Application Security Project есть не только для веба, но и для LLM-приложений и агентов.
В OWASP Top 10 For Agentic Applications 2026 перечислены 10 самых опасных уязвимостей, которым могут быть подвержены разрабатываемые нами AI-агенты, а так же способы их предупреждения и устранения.
Некоторые из уязвимостей прям любопытные:
Есть, например, ASI08: Cascading Failures, когда из-за одного зараженного агента эффектом домино компрометируются остальные агенты, которые начинают получать и исполнять вредоносные инструкции от вышестоящего в иерархии агента.
Или ASI04: Agentic Supply Chain Vulnerabilities — если вы используете MCP-сервер или какое-нибудь удалённое хранилище промптов, а они вдруг окажутся взломанными, то ваш агент начнёт делать не то, что вы от него ожидаете. Так что поаккуратнее с опенсорсными MCP.
Ну и ASI01: Agent Goal Hijack — подмена цели вашего агента через скрытые инструкции (например, скрытый текст, который попадает в ваш промпт при парсинге веб-страниц). Отличие от промпт-инъекции здесь в том, что влияние происходит не на один аутпут модели, а на саму цель, которую будет преследовать ваш агент. То есть потенциально будут затронуты все последующие действия вашего агента.
Как всего этого избежать:
Во-первых, не доверять никакому внешнему контенту без предварительной проверки. Это касается не только MCP, но и пользовательского инпута и запросов от других агентов - не забываем его санитизировать и валидировать.
Во-вторых, агентам следует выдавать только минимальный набор необходимых полномочий и, по возможности, аппрувить вызовы некотрых функций вручную (привет, YOLO-mode из курсора).
В-третьих, и об этом упоминается практически в каждой второй уязвимости, очень важно настроить грамотное логирование и мониторинг событий. Это поможет раньше заметить те случаи, когда ваш агент делает что-то, что не входит в его изначальный набор привилегий. Как раз пригодится мой доклад про дебаг LLM-приложений, где мониторинг и логирование тоже затрагивается.
И, кстати, помимо OWASP Top 10 For Agentic Applications 2026, который специализируется на агентах, есть ещё OWASP Top 10 для LLM-приложений, где собраны основные советы по противодействию обычным промпт-инъекциям, утечкам системных промптов, по устранению уязвиомостей векторов и эмбеддингов, и т.д.
Post #198
3.6K
- 🔥 23
- 👍 8
- ❤ 1
- 🐳 1
- 💘 1