Ранее я уже писал про контроль качества ИИ, оценку результатов и тот самый eval. Это действительно важно при внедрении ИИ в корпоративный контур.

Но есть ещё одна тема, на мой взгляд, даже более важная — безопасность.

По данным Verizon DBIR 2026, в 62% подтверждённых компрометаций данных присутствовал человеческий фактор. И это не обязательно ошибки сотрудников. Злоумышленники давно научились использовать наше доверие: фишинговые письма, поддельные сайты, звонки от «службы безопасности», социальная инженерия.

Иногда гораздо проще заставить человека самостоятельно выполнить нужное действие, чем пытаться взломать защищённую инфраструктуру.

А теперь представьте, что в эту инфраструктуру мы добавляем ИИ-агентов, которым доверяем доступ к документам, корпоративным системам, почте и различным API.

И вот тут появляется интересный момент. Агента даже не придётся шантажировать или убеждать. В некоторых случаях достаточно подменить информацию, которую он обрабатывает: подсунуть инструкцию в документ, письмо или описание MCP-инструмента. И агент может принять её за часть своей задачи и попытаться выполнить то, что на самом деле нужно злоумышленнику.

Причём сам код при этом может быть совершенно исправен.

Фактически мы получили новые поверхности атак, которые не всегда покрываются привычными средствами защиты.

Если вы уже внедряете ИИ-агентов, но ещё не до конца понимаете, что именно требует защиты, рекомендую материал коллег из CrowdStrike.

Там подробно разобраны основные сценарии атак на агентные системы и вполне конкретные способы защиты: управление доступами, контроль MCP-инструментов, проверка действий агента, мониторинг поведения. Есть даже практическая дорожная карта на 90 дней.

Но важно помнить: безопасность — это не разовый аудит и не набор однажды настроенных ограничений. Это непрерывный процесс. Особенно в мире, где агенты, их инструменты и возможности постоянно меняются.

Прикладываю полный отчёт. Рекомендую ознакомиться.