Материалом поделился Денис Батранков, Академия Батранкова, в рамках образовательного курса «Директор по кибербезопасности 8.0».
Современные средства защиты информации десятилетиями эффективно работали с сетевыми атаками, вредоносным кодом и сигнатурами. Но атаки на ИИ-системы устроены иначе: они используют легитимные каналы и естественный язык. Поэтому обнаружить их привычными средствами практически невозможно.
Можно выделить три угрозы, которые не видит ни один существующий классический СЗИ.
1. Prompt Injection в документах, письмах и веб-страницах
Атакующий скрывает инструкцию внутри обычного текста — например, в PDF-файле, письме или на веб-странице. Когда ИИ-агент обрабатывает документ, он воспринимает этот текст как часть задачи и может выполнить встроенную команду.
Почему классические средства защиты не обнаруживают такую атаку? NGFW анализирует сетевой трафик, WAF ищет SQL-инъекции и XSS, но ни одно из этих решений не анализирует смысл текста внутри документа.
2. Excessive Agency — агент с избыточными правами
Вторая угроза возникает, когда ИИ-агент получает больше полномочий, чем требуется для выполнения его задач.
Пример: Когда агент, предназначенный для подготовки саммари писем, имеет доступ к Calendar API. После Prompt Injection он способен создавать встречи от имени руководителя компании.
Проблема заключается в том, что все действия выполняются через легитимные API и с использованием действующих токенов доступа. Для PAM, DLP и других традиционных средств защиты такие операции выглядят штатными.
3. Data Exfiltration через RAG
Еще одна угроза связана с использованием RAG-систем.
Сотрудник задает обычный вопрос, а RAG извлекает фрагменты документов, к которым у пользователя не должно быть доступа. В результате модель формирует ответ, содержащий закрытую информацию.
Менеджер запрашивает данные о проекте, после чего RAG извлекает сведения из конфиденциального финансового отчета, хотя прямого доступа к этому документу у сотрудника нет.
Active Directory контролирует доступ к файлам, но не к векторным эмбеддингам. Это разные системы контроля, поэтому классические модели разграничения доступа здесь не работают.
💥 Все три сценария используют легитимные каналы взаимодействия. Их невозможно обнаружить с помощью сигнатурного анализа. Для защиты ИИ-систем необходим анализ смысла запросов и ответов, а также контроль взаимодействия между пользователями, агентами и моделями.
Хотите глубже разобраться в архитектуре защиты корпоративного ИИ, AI Gateway, AI-BOM, построении SOC для ИИ и подходах к ML Red Teaming? Тогда присоединяйтесь к четвертому модулю курса «Директор по кибербезопасности 8.0».
#ДиректорПоИБ