🧠 Prompt Fuzzer — интерактивный fuzzer для защиты системного промпта GenAI‑приложений

Prompt Fuzzer — это open source‑утилита для динамического тестирования системного промпта на устойчивость к jailbreak‑атакам, prompt‑инъекциям и попыткам вытянуть системные данные

💻 Что умеет Prompt Fuzzer
🔔 Моделирует реальные атаки на промпт: jailbreak (DAN, AIM, harmful behavior, amnesia, linguistic evasion и др.), prompt injection (authoritative role, typoglycemia и др.) и системный prompt extraction
🔔 Динамически адаптирует тесты под домен и конфигурацию конкретного приложения, чтобы проверки были ближе к боевым сценариям использования.
🔔 Выдаёт оценку безопасности промпта по каждой атаке: broken (сломали защиту), resilient (выдержал), errors (неоднозначный результат), помогая понять, где именно промпт уязвим.

⬇️ Установка и запуск
👉 Установка через pip:

pip install prompt-security-fuzzer

👉 Затем задать ключ LLM‑провайдера (по умолчанию OPENAI_API_KEY):

export OPENAI_API_KEY=sk-123XXXXXXXXXXXX
prompt-security-fuzzer

👉 Переменные окружения
- Можно использовать .env рядом с утилитой, либо экспортировать ключи напрямую.
- Поддерживаются 16+ провайдеров: OpenAI, Anthropic, Azure OpenAI, Cohere, Google PaLM, YandexGPT, Baichuan, Jina, PromptLayer и др. через свои ENV‑ключи (ANTHROPIC_API_KEY, GOOGLE_API_KEY, YC_API_KEY и т.п.).

🧾 Режимы работы и CLI
⏺️ Интерктивный режим (по умолчанию):
1) Запускаете prompt-security-fuzzer,
2) Вставляете системный промпт,
3) Запускаете серию атак и потом дорабатываете промпт в встроенном Playground‑чате.

⏺️ Batch‑режим для CI/CD и автопроверок:
➡️ Прогнать тесты по готовому файлу с системным промптом:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt

➡️ Подключить кастомный бенчмарк атак:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
  --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv

➡️ Запустить только подмножество тестов:

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
  --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv \
  --tests='["ucar","amnesia"]'

#security #ai #llm #tool

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером