Cloud Security Alliance выпустил руководство по Agentic AI Red Teaming.
По мере интеграции агентов в корпоративную и критически важную инфраструктуру, проактивное Red Teaming должно стать непрерывной функцией. Службам безопасности необходимо тестировать поведение изолированных моделей, полные рабочие процессы агентов, межагентские зависимости и реальные режимы сбоев.
Угрозы в гайде разбиты на 12 категорий, каждая из которых подробно описана:
🔹Захват авторизации и контроля агента;
🔹Сбои "Checker-Out-of-the-Loop";
🔹Взаимодействие агента с критически важными системами;
🔹Манипуляции с целями и инструкциями;
🔹Эксплуатация галлюцинаций агента;
🔹Риски каскадных сбоев и попытки ограничить радиус поражения при нарушениях.
🔹Отравление базы знаний агента;
🔹Манипуляции с памятью и контекстом агента;
🔹Уязвимости во внутриагентной связи, доверии и координации;
🔹Истощение ресурсов и услуг;
🔹Атаки на цепочки поставок и зависимости (риски в инструментах разработки, внешних библиотеках и API) ;
🔹Неотслеживаемость агента.

Каждый раздел руководства включает:
- практические шаги по тестированию;
- примеры сценариев и подсказок;
- результаты, которые можно немедленно применить в рабочем процессе "безопасность по умолчанию" (secure-by-design).
#BehindTheMachine #AIShelf
————
@pattern_ai