OWASP Top 10 for LLM

📋 OWASP Top 10 for LLM – это систематизация наиболее критичных уязвимостей и угроз, связанные с разработкой, развертыванием и эксплуатацией LLM-приложений.
Данный список впервые был опубликован в 2023 году и регулярно обновляется, показывая актуальные угрозы информационной безопасности в области ИИ.

На данный момент в топ-10 входят следующие угрозы:

1️⃣ Инъекция промптов (Prompt Injection)
Злоумышленники могут манипулировать входными данными для изменения поведения модели, получив несанкционированный доступ или вызвать утечку данных

2️⃣ Раскрытие конфиденциальной информации (Sensitive Information Disclosure)
Недостаточная защита вывода модели может привести к раскрытию конфиденциальных данных

3️⃣ Уязвимости цепочки поставок (Supply Chain)
Использование скомпрометированных компонентов, сервисов или наборов данных может вызвать нарушение целостности системы

4️⃣ Отравление данных и модели (Data and Model Poisoning)
Подмена обучающихся данных ухудшает безопасность модели, что может привести к неприятным последствиям

5️⃣ Неправильная обработка вывода (Improper Output Handling)
Отсутствие валидации и фильтрации результатов модели может приводить к выполнению вредоносного кода

6️⃣ Чрезмерная автономия (Excessive Agency)
Предоставление модели слишком большой свободы действий без контроля может вызывать непредсказуемые последствия

7️⃣ Утечка системных промптов (System Prompt Leakage)
Раскрытие системных инструкций модели может позволить атакующим обходить ограничения и взять под контроль поведение модели

8️⃣ Уязвимости в векторах и эмбеддингах (Vector and Embedding Weaknesses)
Уязвимости в методах работы с эмбеддингами могут привести к манипуляциям с контекстом и результатов

9️⃣ Дезинформация (Misinformation)
Модель может непреднамеренно распространять ложную или вводящую в заблуждение информацию, что в свою очередь несет большие риски

1️⃣0️⃣ Неограниченное потребление ресурсов (Unbounded Consumption)
Перегрузка модели ресурсоемкими запросами может привести к отказу в обслуживании и финансовыми потерями