🧠 Интеллектуальный маршрутизатор для LLM

Semantic Router направляет запросы к OpenAI API на основе семантического понимания, выбирая наиболее подходящие модели из пула. Использует классификацию BERT для повышения точности вывода и предлагает функции безопасности, такие как обнаружение PII и защита от jailbreak.

🚀 Основные моменты:
- Авто-выбор моделей для оптимизации запросов
- Инструменты выбора на основе контекста запроса
- Обнаружение и защита от PII
- Кэширование семантических представлений для ускорения обработки

📌 GitHub: https://github.com/vllm-project/semantic-router

#python