Использование AI и LLM постепенно становится привычным способом автоматизации рутинных задач и получения аналитики по большим объёмам данных. Где-то модели помогают саппорту, где-то — разработке, где-то — внутренней работе с документами. Компании активно интегрируют AI в свои процессы, потому что это действительно экономит время и ресурсы.

Вместе с тем каждая такая интеграция существенно увеличивает поверхность атаки. Причём проблемы часто возникают не из-за самой модели, а из-за того, как вокруг неё построена инфраструктура.
Слишком широкий доступ к внутренним инструментам.
RAG, использующий чувствительные данные.
Prompt injection через внешние источники.
Agent-based workflow без нормальной изоляции.
Утечки через системные промпты, memory и плагины.
Небезопасная интеграция AI в существующие бизнес-процессы.

На этот тренд обратили внимание и в Awillix. В этом году помимо привычных номинаций Pentest Award появился отдельный трек по AI security и атакам на AI-системы.

Если вы исследовали подобные сценарии, находили интересные векторы атак или делали сильные AI-related кейсы — советую присмотреться.