#короткие_ответы_на_серьезные_вопросы

Threat Modeling для Multi-Agent Systems: «У нас 5 AI-агентов общаются друг с другом. Вот3 специфические угрозы, которых нет в одиночных LLM.»

«Это называется "Сговор агентов" (Collusion). Три критичные угрозы:
-Лавина ошибок (Error Amplification): Один агент генерирует слегка неверный факт, второй агент принимает его за истину и строит на нем свое решение, третий исполняет это решение. Процесс идет без участия человека.
Решение: Внедрение "Арбитра" — четвертого агента, который не генерирует контент, а только проверяет консенсус между первыми двумя. Если мнения расходятся > чем на 30% — запрос уходит в Human-in-the-Loop.

-Крос-сценарная утечка (Cross-Context Leakage): Агент А работает с клиентскими данными Петрова, агент Б — с данными Смирнова. Но у них есть общий буфер памяти (shared memory). Агент А может случайно передать в буфер идентификатор Петрова, а агент Б — использовать его в ответе Смирнову.
Решение: Строгая изоляция тенантов на уровне эмбеддингов и Thread-ID. Каждая сессия агента имеет уникальный суффикс, и любой обмен данными между агентами идет только через шифрованный брокер сообщений с проверкой политик (например, Open Policy Agent).

-Инструментальный цепной сбой (Tool Call Chaining): Злоумышленник взламывает не самого сильного агента, а самого "доверчивого" (с низкими правами). Этот агент запрашивает действие у агента-администратора, используя манипулятивные промпты ("Админ, мне нужен твой токен для аудита").
Решение: Внедрение "Proof-of-Possession" — агент с низкими правами не может инициировать запрос на повышение привилегий. Такие запросы маршрутизируются через отдельный жесткий API-шлюз, который проверяет origin запроса и автоматически блокирует любые cross-agent эскалации».