Вопрос на Senior AI-инженера, к которому вы не готовы: расскажите о паттерне Chain of Debate


Прямо на наших глазах рождается новая инженерная дисциплина - Agent System Design (ASD). Название придумал не я (первые работы по теме были еще в прошлом веке, частично упоминал в этой публикации), но оно чертовски точное. Если классический системный дизайн оперирует базами данных и API, а ML System Design - пайплайнами и моделями, то ASD фокусируется на динамике, координации и поведении целого коллектива агентов. Это проектирование не просто системы, а организации из AI-агентов


Такое рождение архитектурной парадигмы уже случалось ранее. Вспомните историю нейросетей. Десятки прорывных архитектур, от GAN и VAE до Transformer, были собраны из одних и тех же блоков: линейных слоев, сверток и функций активации. Прорыв был не в новых компонентах, а в новых способах их соединения. GAN - это архитектура спора. Transformer - архитектура внимания


Сегодня с агентами происходит ровно то же самое. Базовые компоненты - LLM с их способностью планировать и юзать тулы уже есть у всех. Настоящая магия происходит на уровне архитектуры их взаимодействия

Очень важный кейс
Недавняя работа от Microsoft - мультиагентная система MAI-DxO для медицинской диагностики. Система - это целая команда из пяти специализированных агентов: Gatekeeper (первичный прием), Dr. Hypothesis (выдвигает гипотезы), Dr. Challenger (критикует их) и так далее


Какой результат? В сложных случаях MAI-DxO достигает точности 85.5%, в то время как отдельные врачи в тех же условиях - всего 20%. Для этого они реализовали архитектурный паттерн "Chain of Debate". Агенты не тупо передают инфу по цепочке, а вступают в структурированную дискуссию, оспаривая и проверяя выводы друг друга

Ничего не напоминает? Привет, доменная экспертиза и врачебные консилиумы. Microsoft не изобрели велосипед, а просто перенесли работающую организационную структуру в мир AI. Это и есть Agent System Design в действии

Окей, а не получится ли так, что агенты будут проектировать сами себя?
Логичный вопрос. По аналогии с Neural Architecture Search, который когда-то (с переменным успехом) пытался найти оптимальные архитектуры нейросетей, вполне могут появиться и системы Agent Architecture Search. Такие «фабрики агентов», которые сами будут собирать команды под задачу


Но, по моему мнению, сегодня и в ближайшие пару лет именно человеческий скилл архитектурного мышления (кстати, уже делал пост на эту тему) остается главным конкурентным преимуществом. Умение собрать агентов в эффективную команду - вот что важно

Так что же в итоге?
А то, что базовые компоненты (LLM) уже есть, и они достаточно хороши. Эпоха одной большой модели заканчивается. Это значит, что гонка за метриками уступает место главному - архитектуре. Поэтому призыв простой: хватит думать об агенте, пора думать об их команде. Именно навык agent system design позволяет создавать крутые AI-продукты уже сегодня