🧠 AI-агенты знают слишком много...

На arXiv вышел обзор: Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents.

Авторы вводят новую модель Data Surfaces, где вместо привычного подхода «разберём типы атак» исследователи предлагают смотреть на поверхности данных:

🔹 базы данных и хранилища
🔹 файлы и таблицы
🔹 RAG-индексы
🔹 внешние API и инструменты
🔹 долговременная память агента
🔹 каналы общения между агентами

Такой подход значительно изменяет модель угроз. Например, чувствительные данные могут утечь не через финальный ответ, а через SQL-запрос, который агент сам сгенерировал или через промежуточные результаты reasoning. А это не так-то просто контролировать.

🧨 Память, как самый опасный слой

Отдельно авторы выделяют memory-layer, потому что память агента:

1. переживает сессии
2. хранит прошлый контекст
3. может быть отравлена
4. может случайно утечь другому пользователю

Таким образом это делает prompt injection постоянным. Один вредоносный документ может записать payload в memory store, а агент достанет его через неделю уже как доверенный контекст.

Это уже не prompt injection.

🛡️ Чего еще интересного в статье?

Авторы считают, что обычного контроля доступа больше недостаточно. Нужен information-flow control. Система, которая отслеживает не просто доступ, а движение данных между всеми слоями агента. Кто что прочитал, что куда передал, что сохранил, что переиспользовал.

Privacy для AI-агентов начинает превращаться в data lineage security.

🔗 Исследование: https://arxiv.org/abs/2606.26627

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #Privacy #RAG #MemorySecurity #DataSecurity #AIsecurity #SecureTechTalks