RAG - Threat Model and Attack Surface - https://arxiv.org/pdf/2509.20324

Статья разделят RAG-пайплайн на 8 шагов:
Шаг 1: Пользователь отправляет запрос q в систему

Шаг 2: Запрос q преобразуется в вектор эмбеддингов через процесс кодирования системы

Шаг 3: Каждый документ di в базе знаний D аналогично преобразуется в вектор эмбеддингов и сохраняется в векторной базе данных

Шаг 4: Вектор эмбеддингов запроса q и коллекция эмбеддингов документов подаются на вход ретриверу R

Шаг 5: Ретривер R сравнивает вектор запроса с векторами документов, используя метрики сходства, и собирает подмножество Dq ⊆ D из top-k наиболее релевантных документов: R(q, D) → Dq

Шаг 6: Выбранные top-k документы объединяются с исходным запросом q для создания расширенного запроса q'

Шаг 7: Расширенный запрос q' = (q, Dq) подается на вход генератору G (LLM), обогащая исходный запрос контекстной информацией

Шаг 8: LLM-генератор G производит ответ y = G(q'), используя как свои параметрические знания, так и контекстную информацию от ретривера, и возвращает финальный ответ пользователю

Авторы выделяют три основные категории угроз безопасности и приватности для RAG-систем, которые подробно описаны в разделе IV "FORMAL PRIVACY AND SECURITY NOTIONS":

1. Атаки вывода принадлежности на уровне документов (Document-Level Membership Inference Attack)
Где описано: Раздел IV.A (стр. 4-5)

Суть угрозы: Противник пытается определить, был ли конкретный документ включен в базу знаний RAG-системы, основываясь только на наблюдаемых выходных данных системы.

Формальное определение: Дано в Definition 2, где противник получает запрос q, ответ y и целевой документ d*, и должен угадать, был ли d* частью базы знаний D.

Пример угрозы: В медицинском контексте противник может определить, была ли запись конкретного пациента включена в систему, анализируя ответы на диагностические запросы.

2. Утечка извлеченного содержимого в выходных данных (Leaking Retrieved Content in Outputs)
Где описано: Раздел IV.B (стр. 5-6)

Суть угрозы: Генератор G может выводить дословные или почти дословные сегменты из документов, извлеченных ретривером R, раскрывая конфиденциальную информацию.

Формальное определение: Дано в Definition 3 - вербатимная утечка происходит, если ∃s ∈ S такой что s ⊆ y, где S - множество конфиденциального содержимого.

Механизм атаки: Противник создает составной запрос q = qi + qc, где qi - якорный запрос для нацеливания на конкретную тему, а qc - командный промпт для принуждения генератора к дословному воспроизведению.

3. Отравление данных (Data Poisoning)
Где описано: Раздел IV.C (стр. 6-7)

Суть угрозы: Противник внедряет специально созданные документы в базу знаний, чтобы влиять на генерируемые выходные данные в ответ на определенные триггерные запросы.

Формальное определение:

Definition 4: Общее отравление данных - модификация базы знаний D' = D ∪ Dpoi
Definition 5: Отравление на основе триггеров - использование триггерных токенов T для активации атаки
Цели атак:

Заставить систему генерировать вредоносные, вводящие в заблуждение или фактически неверные выходные данные
Принудительно включать определенное содержимое (реклама брендов, фабрикованные утверждения)



В разделе III авторы также представляют таксономию типов противников (стр. 4), основанную на двух измерениях:
Доступ к модели: Black-box vs White-box
Знания противника: Normal vs Informed

Это дает четыре категории: AI (Unaware Observer), AII (Aware Observer), AIII (Aware Insider), AIV (Unaware Insider), где AIII представляет наиболее сильного противника.

Каждая из трех основных угроз может быть реализована различными типами противников в зависимости от их возможностей доступа и предварительных знаний.