OpenAI обнаружила самораспространяющиеся prompt injection атаки в GPT

OpenAI обнаружила в своих моделях GPT тип атаки, названный самовоспроизводящимися внедрениями подсказок, похожий на компьютерный червь. Такие внедрения могут автоматически копировать свой код в ответы модели, например через электронную почту или файлы, и распространяться дальше. Для противодействия использован автоматический red‑team агент GPT‑Red, который обучает будущие модели на примерах подобных атак, повышая их устойчивость. Примером является скрытая инструкция в письме, заставляющая модель отвечать на все последующие сообщения на испанском и включать полное содержание письма.

#security #vulns #ai_ml #code #devtools

OpenNews