OWASP опубликовала обновленный рейтинг ключевых рисков для ИИ-приложений GenAI LLM Top 10 2026. В новой версии заметно изменились позиции сразу нескольких рисков, а вместе с ними и акценты в безопасности ИИ. На первый план выходят автономность ИИ, контекст, который он получает, и последствия его действий.
Главное:
▶️Промпт-инъекции по-прежнему занимают первое место, а раскрытие конфиденциальной информации на второй строке рейтинга.
▶️Чрезмерная автономность (Excessive Agency) поднялась с LLM06 на LLM03. Рост отражает распространение ИИ-агентов, которые получают доступ к инструментам, API и корпоративным системам и могут самостоятельно выполнять действия.
▶️Контекст становится границей безопасности. Теперь защищать нужно не только системные инструкции, но и другой скрытый контекст (Hidden Context Exposure, LLM08), который получает ИИ. Это могут быть данные из памяти, документы, результаты работы инструментов и другая информация, недоступная пользователю напрямую.
▶️Ошибки ИИ становятся значительнее. Недостоверная информация (Misinformation) поднялась с LLM09 на LLM07. Чем чаще ответы ИИ используются в коде, рабочих процессах и автоматизированных действиях, тем серьезнее могут быть последствия одной ошибки.
Обновление OWASP хорошо показывает, как меняется сама модель угроз. Пока ИИ был в основном инструментом генерации ответов, основное внимание уделялось защите модели и входных запросов. Сейчас ИИ получает доступ к данным, инструментам и корпоративным системам, поэтому безопасность нужно оценивать уже на уровне всей системы и ее жизненного цикла.
Недостаточно проверить модель на промпт-инъекции и считать задачу решенной. Необходимо понимать, какие данные попадают в контекст, какие права получает ИИ, какие действия он может выполнять и что происходит с его результатами дальше. Именно такой комплексный подход позволит связать требования регуляторов с реальными рисками эксплуатации ИИ.
— отмечает Денис Данилов, руководитель группы обеспечения безопасности приложений Swordfish Security.
Для российских компаний это особенно актуально: требования к безопасности ИИ уже формируются в российском регулировании и стандартах, а новый OWASP LLM Top 10 помогает дополнить этот подход практиками оценки угроз для самих ИИ-приложений.
🐟 Рассылка | Max | Habr
#AISecurity