Рассказываем, как можно использовать сканер AppSec.GenAI для тестирования ИИ-моделей на киберустойчивость.
1️⃣ Тестирование LLM перед продуктивным развёртыванием
Организация планирует развернуть чат-бота на базе GPT-4o. Перед запуском инженер по безопасности:
1. Регистрирует модель в AppSec.GenAI (указывает endpoint, API-ключ).
2. Создаёт профиль сканирования с набором техник Jailbreak Attack Suite (Roleplay, Encoding, Crescendo) и подключает Unified Pipeline.
3. Запускает сканирование.
4. Получает отчёт с найденными уязвимостями (Critical / High / Medium).
5. Передаёт отчёт команде разработки для доработки system prompt.
2️⃣ Тестирование CV-модели на состязательную устойчивость
Модель классификации дорожных знаков проходит тестирование:
1. Загружаются эталонные изображения знаков.
2. Применяются White-box-атаки (FGSM, PGD) и Black-box / Hybrid-атаки (Simple Black-Box, ZOO, One Pixel).
3. Система генерирует adversarial-изображения, визуально неотличимые от оригиналов.
4. Отчёт показывает, какие знаки модель перестаёт распознавать при минимальном возмущении.
3️⃣ Тестирование ASR-модели на backdoor-уязвимости
Модель распознавания голосовых команд тестируется на устойчивость:
1. Загружаются эталонные аудиозаписи команд.
2. Применяются Black-box-атаки DABA (бэкдор) и Ultrasonic (ультразвук).
3. Система проверяет, можно ли внедрить скрытые команды в аудиопоток.
4. Отчёт фиксирует, какие бэкдоры были успешно встроены.
Наша команда постоянно расширяет различные техники атак, сценарии. Мы анализируем большое количество источников и статей, проверяем гипотезы, строим PoC по новым атакам и лучшие добавляем в продукт. Также мы прорабатываем развитие новых модальностей и способов атак на них. Это та сфера, где ты всегда должен быть в курсе всех изменений и новых возможностей.
— поделился Юрий Шабалин, директор по развитию технологий ИИ AppSec Solutions.
Безопасность ИИ требует постоянной проверки на устойчивость к новым классам атак. Быстро и эффективно выявляйте слабые места, угрозы и потенциальные риски моделей с AppSec.GenAI.
🔠 Рассылка | МАКС
#AppSecGenAI #AISecurity