#короткие_ответы_на_серьезные_вопросы

1.Архитектура и уязвимости RAG-систем.
С какими рисками мы сталкиваемся при их внедрении?

«RAG-системы (Retrieval-Augmented Generation) уязвимы на нескольких уровнях:
-Уровень векторизации и хранения: Это новая и критическая область рисков. Например, атаки на векторные базы данных могут привести к утечке данных между клиентами (cross-tenant leaks) или к инверсии встраиваний (embedding inversion), когда злоумышленник может восстановить исходный текст из вектора. Также уязвимость LLM08 "Vector & Embedding Weaknesses" из OWASP Top 10 для LLM (2025) напрямую указывает на эти риски.
-Уровень данных: Классические атаки, такие как "отравление" (poisoning) данных в базе знаний, могут привести к тому, что модель будет выдавать неверную или вредоносную информацию.
-Уровень промптов: Несмотря на то, что RAG должен ограничивать контекст, атаки через промпт-инъекции (LLM01: Prompt Injection) все еще возможны, если не настроена строгая валидация входящих запросов.
Безопасность здесь должна обеспечиваться на всех этапах — от контроля целостности данных и управления доступом к векторным хранилищам до мониторинга исходящих ответов модели».

*Инверсия встраиваний (embedding inversion) — это тип атаки на системы искусственного интеллекта, при котором злоумышленник восстанавливает исходный текст (или другие данные) по его векторному представлению — эмбеддингу.

Эмбеддинги — это плотные числовые векторы, в которые нейросети преобразуют текст, чтобы "понимать" его смысл. Долгое время считалось, что восстановить исходный текст по эмбеддингу невозможно — это как смешать краски, а потом попытаться их разделить.
Однако исследования показали обратное: злоумышленник может обучить нейросеть, которая по эмбеддингу реконструирует исходный текст. В некоторых случаях точность восстановления достигает 92–100%.
Атака обычно состоит из двух этапов:
-Извлечение — получение доступа к эмбеддингам (например, из векторной базы данных или через API).
-Инверсия — восстановление исходных данных с помощью специально обученной модели.