Инженерный блог 🖥 пополнился лонг-ридом про мульти-агентную (multi-agent) поисковую систему Антропика.
Полный текст тут. В этот раз без гулбоких технических подробностей, метрик или конкретных примеров.
TL;DR древний как горы – прототип завести легко, а вот довести до прода трудно. Большинство AI фреймворков / стартапов умирает на версии v0.9.9999, только единицы доходят до v1.0
Если по верхам, то так:
⚫️Какую проблему решают? Вообще говоря самую общую – ответить на вопрос пользователя. Вопрос может подразумевать нетривиальный рисерч по большому количеству источников с последующим анализом, суммаризацией, графиками, написанием кода и тому подобное. Популярные кластера запросов – Assist with academic research, Develop software systems или Develop profitable investment systems 😉
⚫️Зачем так много агентов? Сам по себе агент медленный: он выполняет действия последовательно. Так растет время ожидания. Мульти-агентное решение позволяет распаралелить задачу (где это возможно – про это ниже), что гораздо лучше скейлится на большом количестве запросов. Другая причина в том, что так можно эффективнее делать explore – анализировать параллельно много типов источников, ища решение в разных местах; потом это сливать все в одно место, делать общий вывод, и запускать новую итерацию поиска в ширину агентами.
⚫️Архитектура. В центре такой мульти-агентной системы находится главный агент (Lead Agent). Он координиурет все решения и выбирает, как декомпозировать исходную задачу на части. А потом отдает подзадачи агентам-исполнителям (subagents). Те варятся в своей подзадаче и возвращаются с репортом к главному. Тот думает, что делать дальше. К агентам-исполнителям естественно в комплекте идут поисковые инструменты, доступ к MCP-серверам и возможность подумать над планом прежде чем что-то решать (interlevaed thinking). Так же есть глобальная память, контролируемая Lead-агентом. Картинка к посту.
⚫️Best Prompting Practises. Большая секция посвящена советам про промпты. Из интересного:
(1) Добавляют эвристики, чтобы помочь Lead агенту оценить сложность задачи и сколько под-агентов нужно для ее решения. Например, для поиска фактов достаточно 1 агента и 3-10 tool calls, тогда как сравнение источников между собой может потребовать гораздо больше агентов и вызовов инструментов.
(2) Еще больше эвристик про формулирование задач для подагентов. а) формат данных б) четкие границы задачи с) отбор MCP-инструментов с качественным API.
(3) Параллеизация там, где только можно. Для этого используют две схемы: a) больше под-агентов b) каждый под-агент параллельно запускает по несколько тулзов. Говорят что бустит всю систему:
These changes cut research time by up to 90% for complex queries, allowing Research to do more work in minutes instead of hours while covering more information than other systems.
Из не интересного - возможность долго рассуждать (extended thinking) для Lead agent ведет к лучшим результатам. Ну еще бы они написали иначе – чем болше токенов сожжете, тем больше заработает антропик 🤓🤵
⚫️Сложности.
(1) Накопительный эффект ошибок. Агенты stateful, поэтому неверные решения в начале могут сильно повлиять на дальнейшую ситуацию. Эта мысль идет через всю статью, поэтому явные механизмы валидации решений агента, мониторинг выполнения плана и корректировка - это ключ к стабильной системе.
(2) Сжигаемое количество токенов (следовательно и цена) – в 15x больше чем при обычном чате.
self-correction, когда агент пытается сам исправиться, экономит ресурсы, но все равно усложняет систему
(3) Параллелизация не везде легко достигается. Например в кодогенерации не обязательно помогает – редактирование кода в существующей кодовой базе более последовательный процесс, чем стандартный поиск.
➡️В комментариях оставил кусочек про Evaluations
Happy Learning !
@max_dot_sh