Anthropic выложил разбор того, как они делали своего агента - исследователя для Claude. Не то чтобы я не сталкивался раньше с проблемами оркестрации и оценки сложных агентов - но тут столько интересных деталей, что нельзя не написать.

Кратко, что важно:

- В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются.

- Внутренние тесты: мультиагентная система на 90,2% эффективнее одно-агентной при сложных поисковых запросах.

- Расход токенов растет лавинообразно: мультиагентная архитектура требует в 15 раз больше токенов, чем обычный чат. Поэтому использовать её есть смысл только для действительно ценных и сложных задач.

- Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик.

- В промптах важно: симулировать работу агентов для поиска багов, чётко описывать задачи подагентам, масштабировать ресурсы под сложность запроса, прорабатывать интерфейсы инструментов, запускать самообучение агентов, начинать с широких, потом сужать фокус, использовать “видимое мышление” и планирование, а не только инструкции.

- Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%.

- Оценка результатов: маленькие ручные выборки для быстрой обратной связи, LLM-судья для проверки полноты и корректности, плюс живое тестирование для ловли неочевидных проблем.

- В продакшене - отдельная боль: ошибки могут “размножаться”, нужно хранить состояние, поддерживать восстановление состояния после сбоев, делать трассировку и релизы выкатывать по “радуге”, чтобы не грохнуть всё сразу.

- Синхронность упрощает, но мешает скорости: переход к асинхронности обещает прибавку к производительности, но увеличит сложность координации и обработки ошибок.

Тоже пытаюсь строить такие системы. Понимаю что они действительно помогают находить неочевидные инсайты и экономить кучу времени - особенно если задача не про “ответить на факт”, а про навигацию в сложном инфопространстве.

Сергей Булаев AI 🤖 - об AI и не только