Оценка защищенности ИИ: что это такое и какие есть сложности?
 
С начала 2026 г. примерно в 20% запросов на проведение пентеста заказчики интересовались возможностью оценки защищенности ИИ-моделей, используемых в их инфраструктуре. Руководитель департамента оценки защищенности Анастасия Мельникова рассказала, как обстоят дела в этом направлении.
 
➡️ Что проверяем?

Мы оцениваем безопасность как самой LLM, так и окружающей ее инфраструктуры: системных промптов, внешних интеграций, RAG-механизмов, методов авторизации и разграничения доступа и т.д.
 
Моделируем наиболее распространенные сценарии атак, включая prompt injection, jailbreak, атаки на RAG, попытки извлечения конфиденциальных данных через модель, обход ограничений.
 
➡️ Какие есть проблемы?

1. Нет единой методологии. Поэтому качество проверки во многом зависит от глубины экспертизы команды, выбранных подходов и набора тестовых сценариев.
 
2. Нет общепринятых метрик эффективности. Одна и та же атака может оказаться успешной при повторной попытке или после незначительного изменения формулировки запроса. Для генеративных моделей результат не всегда воспроизводим так же, как при классическом тестировании инфраструктуры.
 
3. Протестировать все сценарии невозможно. Модели быстро эволюционируют: регулярно появляются новые версии, способы интеграции и сценарии атак. Кроме того, пространство возможных пользовательских промптов практически не ограничено.

#инструменты

Мы в Max | VK