🚀 🌌MCP Universe🌌 — новый сложный бенчмарк для AI-агентов в реальных условиях.
🏆 Результаты:
🥇 GPT-5 — 43.7%
🥈 Grok-4 — 33.3%
🥉 Claude-4.0-Sonnet — 29.4%
Что это значит?
- 11 реальных MCP-серверов в 6 областях
- 133 доступных инструмента
- 231 задача, созданная вручную и проверенная экспертами
- Оценка по реальному выполнению действий, а не только по тексту
🌐 Сайт проекта: https://github.com/SalesforceAIResearch/MCP-Universe) |
📄 Статья: https://arxiv.org/abs/2508.14704
Post #1481
2.1K
