🚀 LiveMCPBench — новый бенчмарк для LLM-агентов в мире инструментов MCP

Что это:
LiveMCPBench тестирует ИИ-агентов в масштабных, реалистичных сценариях с использованием MCP (Model Context Protocol) — стандарта для взаимодействия модели с внешними данными, API и инструментами.

Ключевые факты:
- 95 реальных задач в экосистеме MCP
- 70 MCP-серверов и 527 инструментов в коллекции LiveMCPTool
- Автоматическая оценка через LiveMCPEval (LLM-судья) с точностью 81 % по сравнению с экспертами
- Протестировано 10 ведущих моделей: лидер — Claude-Sonnet-4 с результатом 78.95 % успеха

Почему это важно:
LiveMCPBench — первый воспроизводимый фреймворк, который проверяет, как агенты справляются с обилием инструментов и динамично меняющейся средой.

🔗 Подробнее: https://icip-cas.github.io/LiveMCPBench