🚀 LLMRouter: Умная маршрутизация для LLM
LLMRouter — это библиотека для оптимизации работы с LLM, которая динамически выбирает наиболее подходящую модель для каждого запроса. Она поддерживает более 16 моделей маршрутизации, включая KNN, SVM и графовые методы, и предлагает унифицированный интерфейс командной строки для обучения и взаимодействия.
🚀 Основные моменты:
- Умная маршрутизация запросов на основе сложности и производительности.
- Поддержка множества моделей маршрутизации для различных стратегий.
- Полный интерфейс командной строки для удобного использования.
- Генерация обучающих данных из 11 наборов данных.
📌 GitHub: https://github.com/ulab-uiuc/LLMRouter
#python
Post #3208
2.77K