Адаптивные атаки на AI-агентов

Часто говорят что-то по типу «наш агент выдержал 100 атак», всегда хочется уточнить: это были сто готовых промптов или попытки подобрать атаку под конкретную систему?

Атакующий может посмотреть на результат, изменить подход и попробовать снова. Причём этот процесс можно автоматизировать.

В препринте Assessing Automated Prompt Injection Attacks in Agentic Environments июня 2026 года авторы исследуют такой подбор атак против агентов.

Сценарий знакомый: агент выполняет задачу пользователя и читает письмо или документ. Внутри находится вредоносная инструкция, которая должна заставить его сделать что-то в интересах атакующего.

Для поиска таких инструкций авторы адаптировали TAP, Tree of Attacks with Pruning, или «дерево атак с отсечением ветвей».

Работает это так:

• Атакующая LLM придумывает несколько вариантов инструкции.
• Их проверяют на целевом агенте.
• Отдельная модель оценивает, насколько попытки приблизились к цели.
• Перспективные варианты дорабатывают, остальные отбрасывают.

Из каждой удачной попытки вырастают новые. Поэтому и дерево.

придумать → проверить → отобрать → доработать ↻

Атакующая модель получает обратную связь, включая ответ агента и вызовы инструментов. Следующие варианты учитывают предыдущие результаты. При этом итоговый успех в исследовании проверяют по действиям агента и состоянию тестовой среды, а не только по мнению модели-оценщика.

Для TAP не нужен доступ к весам целевой модели. Но в постановке авторов атакующий знает устройство агента, шаблоны промптов и доступные инструменты.

Универсальной отмычки не получилось: атаки, оптимизированные на небольших открытых моделях, не перенеслись на GPT-5.

Для своего стенда я бы оставил фиксированный набор атак для регулярных проверок. И отдельно добавил поиск новых вариантов с обратной связью, указав бюджет попыток и доступную атакующему информацию.

#AIxSec #AgentSecurity #PromptInjection #LLMSecurity