Когда цепочка ИИ-агентов хуже одного соблюдает правила

Компания решает, оставить один ИИ-агент на весь процесс или распределить работу между несколькими. Разделение выглядит надёжнее, но при передаче задачи следующий агент может получить нужный факт без правила, которое ограничивает его использование.

Например, агент запоминает данные клиента, но теряет указание, кому их разрешено передавать.

В Fiducia-bench провели 626 экспериментов на 100 вариантах задач проверки клиентов и финансового мониторинга. У 32B-модели доля потерянных фактов, важных для соблюдения правил, составила 0% при работе одним агентом, 56% в фиксированной цепочке и 85% в схеме с управляющим агентом и помощниками.

Для gpt-4.1-mini авторы приводят общий диапазон потерь 3–6% при тех же условиях. Разбивки этого диапазона по трём схемам в доступных данных нет. Поэтому результат 85% нельзя переносить на любую систему: он зависит и от архитектуры, и от модели.

В другом исследовании сообщение между агентами сократили до 25 слов. Доля правил, дошедших до следующего агента, снизилась примерно с 80% до 57%, хотя факты, необходимые для выполнения задачи, сохранялись почти полностью. Явные правила снизили утечки до уровня менее 15%, а заранее заданный список разрешённых получателей почти устранил их.

Последствие: высокая доля выполненных задач ещё не доказывает, что новая архитектура безопаснее. Агент может выдать правильный результат, но потерять основание для передачи данных или обращения к человеку.

Решение: не утверждать переход к цепочке агентов, пока она не сравнена с одним агентом на одной выборке. В таблице приёмки нужны четыре показателя: выполненные задачи, сохранность каждого обязательного факта, пропущенные и лишние обращения к человеку, передача данных тем, кому они не предназначены.

Если новая схема хуже сохраняет хотя бы один обязательный факт или чаще ошибается при обращении к человеку, её не выпускают — даже при более высокой доле выполненных задач.

Источники: Fiducia-bench · Facts Without Rules