Недавнее исследование от Carnegie Mellon University и Northeastern University показало любопытную (и немного тревожную) картину:
большинство научных работ по приватности в ИИ сосредоточено не там, где реально горит 🔥
🧠 Спойлер: учёные посмотрели на 1 322 публикации за последние 9 лет и поняли - 9 из 10 исследователей копают один и тот же узкий участок,
в то время как поле вокруг уже тлеет по периметру.
📚 Что обнаружили?
📊 92% исследований касаются двух тем:
1️⃣ защиты обучающих данных
2️⃣ утечек истории чатов пользователей
💡 Остальные 8% - это всё, что происходит за пределами лаборатории:
🕵️ инференс-атаки
🔌 утечки через агентные системы
🧩 сбор и корреляция данных между сервисами
🗂️ скрытые профили пользователей
Итог: сотни статей о том, как не дать модели запомнить пароль,
но почти ни одной - о том, куда потом улетает ваш разговор с моделью,
если она встроена в корпоративного помощника 🤷♂️
🧩 Приватность ≠ конфиденциальность
Учёные предлагают новую таксономию утечек:
1️⃣ 🧠 Утечки обучающих данных
2️⃣ 💬 Прямая утечка чатов
3️⃣ 🔗 Косвенные утечки через интеграции и плагины
4️⃣ 🧮 Инференс - когда модель «угадывает» ваши данные
5️⃣ 🧱 Агрегация - сбор публичной информации в личные профили
🔎 Ключевая мысль:
данные утекают не потому, что «хакнули базу»,
а потому, что модель слишком хорошо связывает точки 🕸️
🧱 Иллюзия выбора
Контроль чаще всего иллюзия:
❌ формы обратной связи продолжают храниться
❌ данные остаются «для безопасности» или «комплаенса»
❌ удаление можно отменить внутренним регламентом
🧨 Учёные называют это «эрозией приватности под маской выбора».
Иными словами: галочка «не использовать мои данные» может быть просто декоративной...
⚙️ Новое вызовы - агентные системы
Когда LLM превращаются в агентов, которые ходят в базы данных, CRM, Jira или Slack -
начинается настоящий ад!
🕳️ Пользователь не видит, что именно делает агент:
ищет отчёт... или выгружает фрагменты данных из другой системы?
👁️🗨️ Контроль за агентами - почти «чёрный ящик».
И надеяться, что пользователи сами будут следить за этим, наивно.
💡 Приватность должна быть встроена в дизайн, а не прикручена сверху.
🧠 Что же делать?
🧰 5 правил кибер-гигиены для LLM-систем:
1️⃣ Проверяйте LLM-поставщиков.
🔍 Запрашивайте отчёты: где и как хранятся пользовательские данные.
2️⃣ Минимизируйте сбор данных.
🧹 Чем меньше храните - тем меньше сможете потерять.
3️⃣ Аудитируйте агентов.
🧾 Даже внутренних. Логируйте контексты и действия.
4️⃣ Встраивайте приватность в архитектуру.
🧱 Не плагином, а фундаментом.
5️⃣ Обучайте пользователей.
💬 Разговор с ИИ = API-запрос с контекстом, а не безобидный чат.
➡️ ИИ умеет помнить, обобщать и делать выводы -
а значит, ошибок «по невнимательности» больше не бывает.
🔗 Источник: arxive.org
Stay secure and read SecureTechTalks 📚
#cybersecurity #infosec #LLM #AIprivacy #dataprotection #securedevelopment #cyberthreats #securityawareness #machinelearning #SecureTechTalks