🛡️ Векторы атак на большие языковые модели

🔍 Хотя LLM сами по себе не содержат традиционных уязвимостей программного обеспечения, их сложность делает их восприимчивыми к методам, направленным на манипулирование или использование их внутренней работы. Давайте рассмотрим некоторые известные векторы атак:

1. Состязательные атаки
Враждебные атаки используют специально созданные входные данные, предназначенные для обмана моделей машинного обучения и запуска непреднамеренного поведения. Злоумышленники манипулируют текстовыми подсказками и входными данными для создания предвзятых результатов, обходя фильтры безопасности.

2. Отравление данных
Атака включает в себя внедрение испорченных данных в конвейер обучения моделей машинного обучения с целью их преднамеренного повреждения. Отравленные данные могут привнести в модели вредные предубеждения или снизить производительность.

3. Кража модели
Злоумышленники стремятся украсть запатентованные модели, чтобы получить коммерческое преимущество или извлечь конфиденциальные данные. Надежный контроль доступа и мониторинг аномальных моделей использования помогают снизить риск краж.

4. Инфраструктурные атаки
Зависимость от крупномасштабной инфраструктуры открывает потенциальные векторы, такие как атаки типа «отказ в обслуживании» и попытки проникновения в облачные среды. Защита от таких атак включает в себя надежный мониторинг и контроль доступа.

Один из OpenSource инструментов для защиты ML моделей мы рассматривали ранее тут. Stay secure and read SecureTechTalks 📚

#машинноебучение
#атаки
#SecureTechTalks