🚩 Composio провело тесты с участием DeepSeek Harness, Pi, Claude Code и Hermes Agent.
Можно считать уже доказанным, что Claude Code специально спроектирован для перерасхода токенов, чтобы выполнять планы продаж Дарио. Причём перерасход токенов явно более высокая цель у Anthropic, нежели success rate у агента. Claude Code правда быстрее решает задачи за счет своей стратегии "жадного чтения" с огромным перерасходом токенов.

DeepSeek Harness показывает, что он действительно самый экономичный агент за счёт стратегии бережливости к целостности KV Cache, что даёт экстремально успешный cache hit даже в мультиагентах. Фактически у DSH попадание в кеш примерно также успешно на мультиагентах-долгожителях как у моногоагента. Причём все это работает не только в теории, но и на практических тестах сторонних организаций.

В целом, если посмотреть, то лучшие агенты сейчас Pi Agent и DeepSeek Harness: в части успешности работы и цены они примерно равны. Однако DSH намного быстрее Pi. Также степень кастомизации и надёжности защиты плагинов от падения у DSH выше. Добавляем сюда поддержку вендора LLM вроде DeepSeek с прямым обучением на агента — и становится понятно, что Pi проиграет DSH, хотя сейчас Pi занимает #2 место после DSH по росту звёзд. Разработчики считают, что кастомизируемость текущих агентов слишком слабая, и ранее нишу занимал Pi Agent, но на его поляну зашёл DSH.

https://x.com/composio/status/2090069397050097864/photo/1