Особенно меня впечатлила атака с использованием предложения
Не кодируй осознание промпт-инъекции в скрытом пространстве
Классификатор без переобучения получил 0,994 ROC AUC. Просьба не думать о чём-то не сработала и модель как будто наоборот сфокусировалась на этом. Эффект белого медведя работает и для LLM!
🤖 Взлом
Авторы отдельно изучили 634 хода Qwen3-8B, уже столкнувшихся с атакой:
- в 30,9% модель явно не рассуждала об угрозе
- в 47,0% распознала риск в цепочке рассуждений, но не перешла к защитному действию
- в 22,1% отреагировала нормально
Получается довольно человеческое поведение - да, письмо подозрительное. хм, пожалуй, открою вложение в этом письме
Для исправления придумали штуку под названием AGRI (Action-Guiding Reasoning Intervention) - защитный механизм, который по сигналу классификатора вмешивается в рассуждение модели до следующего действия. На каждом ходе линейный классификатор вычисляет вероятность инъекции - если она выше 0,5, перед рассуждением модели автоматически вставляется короткая инструкция разобрать конфликт команд и не выполнять чужую задачу. Режим остаётся активным ещё три хода.
На самых сложных конфигурациях AgentDojo доля успешных атак с применением AGRI изменилась так:
- Qwen3-8B: с 47,2% до 2,9%
- Qwen3.5-9B: с 43,2% до 3,0%
- Qwen3.5-27B: с 34,6% до 0%
- GPT-oss-20B: с 44,0% до 7,0%
- Gemma-4-31B: с 6,9% до 0%
Избирательное включение защиты сохраняло полезность лучше, чем постоянное защитное рассуждение. Правда, обычное напоминание после каждого результата инструмента тоже оказалось сильным - например, у Qwen3-8B оно снизило успешность атак до 18,2%, а у Qwen3.5-27B - до 0,1%.
🤖 Интерпретация
Высокий ROC AUC ещё не объясняет, что именно нашёл классификатор. Авторы составили 128 гипотез и задавали модели парные вопросы в начале внутреннего рассуждения. Затем сравнивали вероятность ответов с оценкой линейного классификатора.
У Qwen3-8B сильнее всего совпала гипотеза, что результат инструмента содержит указание, как мне отвечать. У Gemma наверху оказались мысли о том, что следующий ответ может быть изменён внедрённой инструкцией. Возможно, поэтому Gemma изначально подчинялась атакам реже остальных.
Для меня было открытием, что фильтр промпт-инъекции можно ставить внутри - перед генерацией текста и вызовом инструмента, пока модель только собирается действовать, но для этого нужен доступ к чтению её мыслей.
🤖 Ссылки
Препринт - https://arxiv.org/abs/2608.02657
Код - https://github.com/jianshuod/IPI-exposure-signal