🦀 CRAB: бенчмарк для агентов работающих с мультимодальными языковыми моделями

🦀 CRAB предоставляет комплексную и простую в использовании платформу для создания мультимодальных агентов, управления различных ос и создания тестов для их оценки, состоящую из трех ключевых компонентов:

- 🔀 Агенты могут выполнять задачи на 📱 Android и 💻 Ubuntu.
- 🕸 Graph Graph evaluator - предоставляет агентам точную метрику оценки работы агентов.
- 🤖 Автоматическая гнерация задач для агентов.

Подключая все устройства к агентам, 🦀CRAB открывает больше возможностей для выполнения различных задач, аналогичных реальным задачам.

Используйте 🦀 CRAB для тестирования ваших мультимодальных агентов!

- 👨‍💻 Репозиторий: https://github.com/camel-ai/crab
- 📝 Статья: https://arxiv.org/abs/2407.01511
- 🌐 Проект https://crab.camel-ai.org

@pro_python_code