🧨 OpenAI решили проверить, сможет ли AI сам распознавать prompt injection

OpenAI представили GPT-RED, новую модель, предназначенную для автоматического тестирования AI-систем на устойчивость к prompt injection и другим атакам. Вместо ручного написания jailbreak-промптов GPT-RED самостоятельно генерирует тысячи вариантов атакующих сценариев и оценивает, какие из них действительно приводят к компрометации модели.

⚙️ Динамический подбор

GPT-RED действует как автономный red team. На вход он получает описание целевой системы и её политики безопасности, после чего строит цепочки атак, постепенно адаптируя их под ответы модели.

В отличие от классических наборов тестов, где используются заранее подготовленные промпты, GPT-RED динамически меняет стратегию, если предыдущая попытка оказалась неудачной. Для обучения используется self-play: атакующая модель и защищающиеся модели одновременно совершенствуются, заставляя друг друга искать всё более сложные способы атаки и защиты.

🧠 Не только prompt injection

Модель тестирует не отдельный запрос, а поведение всей агентной системы. В фокусе оказываются:
➖ обход системных инструкций;
➖ извлечение скрытого контекста;
➖ нарушение политик безопасности;
➖ атаки на tool calling;
➖ многоэтапные jailbreak-цепочки.

По данным OpenAI, GPT-RED успешно находил атаки в 84% сценариев на независимом наборе тестов против 13% у команды людей-red team. Кроме того, атаки, сгенерированные GPT-RED, уже используются для обучения новых моделей OpenAI, что позволило значительно повысить их устойчивость к prompt injection.

🔗 Источник: https://openai.com/index/unlocking-self-improvement-gpt-red

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #PromptInjection #RedTeaming #AgenticAI #AISecurity #CyberSecurity #SecureTechTalks