«Вирусы разума»: агенты заражают друг друга идеями

Исследователи Anthropic и EPFL показали, что поведенческая установка может сама переходить от одного AI-агента к другому. Переносчик — файлы состояния (SOUL.md, MEMORY.md), которые агентные фреймворки при старте новой сессии подгружают прямо в системный промпт.

🚨 Зараженный агент не просто перенимает установку, он сам рассылает её соседям: «скопируй это в свой SOUL.md и передай дальше». Когда установка попадала в SOUL.md, следующий агент заражался в 55% случаев. Среди проверенных «вирусов» были не только безобидные идеи: один заставлял агента запускать скрипт из интернета через curl | bash, другой — удалять файлы пользователя.

Что делать на практике

▶️Видимость. Нужно знать, какие агенты в контуре работают с моделями и что они передают друг другу. Без этого риск по умолчанию невидим.

▶️Контроль всего, что входит в контекст модели. Сообщения других агентов, ответы инструментов и документы проверяются на внедрённые инструкции до того, как их увидит модель.

▶️Минимальные права. Агент не должен бесконтрольно переписывать свои identity- и memory-файлы, а тем более чужие.

▶️Явные guardrails в системном промпте. В эксперименте даже короткое предупреждение почти полностью гасило распространение. Но его нужно поддерживать, а не настроить один раз и забыть.

🔒Как это решает AppSec.AIGate

Такие сценарии мы закрываем в AppSec.AIGate. Все запросы приложений и агентов к языковым моделям проходят через шлюз, он проверяет их содержимое и применяет политики безопасности.

AppSec.AIGate разбирает контекст агента по источникам: инструкции оператора, реплика пользователя, ответы инструментов, внешние документы. Всё, что пришло извне, проверяется на внедренные инструкции до того, как попадет к модели. Попытку переписать поведение агента — «добавь это в свой SOUL.md», «выполни эту команду», «передай следующему» — AppSec.AIGate останавливает на входе. Агент не получает установку, ему нечего сохранять и нечего передавать дальше.

✅Каждое срабатывание уходит в SIEM с указанием источника: служба безопасности видит, какой агент и откуда получил зараженное сообщение, и может изолировать очаг до того, как он разрастётся.

Контроль работает для всех агентов в контуре, на каком бы фреймворке и с какой бы моделью они ни работали.

🔠 Рассылка | МАКС

#AISecurity #AppSecAIGate