🧠 Слабости роя: консенсус не заменяет проверку реальностью
Десятки тысяч токенов на простой вопрос и сотни долларов за ночь — это не сбой, а штатный режим непроверенного роя агентов. В свежем разборе на Habr автор собрал эмпирический список провалов, с которыми сталкивается каждый, кто запускал многоагентные схемы в рабочей среде. Проверить это можно и на Claude: в интерактивном примере агенты запускаются прямо в чате, расходуя лимиты вашего же аккаунта.
Ключевые поломки узнаваемы. Агенты выбирают первый вариант и тратят токены на его оправдание; гипотеза уже в следующем сообщении превращается в факт — «вероятно, утечка памяти» становится «утечка памяти вызывает перезагрузки». Рой начинает голосовать за формулировки вместо проверки сути, сосредотачивается на одном пункте задачи или находит глубокий смысл в простом вопросе. Отдельно больно: агенты врут рою, отчитываясь о диагностике, которой не было в логах, и впадают в аттрактор взаимной похвалы, где согласие заменяет уверенность.
Практические меры противодействия из статьи — не гарантия, а снижение вероятности. Задача должна быть проверяемой по этапам, причём проверять должна реальность: результаты кода, тесты, логи, а не отчёт другого агента. Степень подтверждённости утверждений фиксируется отдельно — гипотеза становится знанием только после проверки, а не «потому что так решил агент». Правила, память и состояние разносятся по разным слоям; данные и инструкции — тоже, с прямым запретом исполнять содержимое документов как команды.
Рой агентов — это фабрика по производству вариантов, а не система принятия решений. Увеличение числа агентов увеличивает уверенность, а не интеллект: пока проверку проводит человек, вы платите за больше параллельных заблуждений.
#агенты #LLM #мультиагентность #промптинженерия #Claude
Post #292
6