Если кто-то занимается разработкой агентных приложений (или просто LLM-based) и волнуется на тему безопасности, то у меня для вас есть полезный сканер от NVIDIA
https://github.com/NVIDIA/garak/
Это штука неплохо находит prompt injection, system prompt leaking, jailbreak'и и прочие радости AI-based приложений. И - оно правда работает (парочку уязвимостей мы им нашли😢)
Только не надо его натравливать на приложения вайбкодеров... Пожалуйста
Post #211
1.76K