SmarterRouter

Умный LLM-шлюз и VRAM-aware роутер, поддерживает бэкенды Ollama, llama.cpp и OpenAI-совместимые. Сделан специально для локальной AI-лабы: есть семантический кэш, анализ/профилирование моделей и автопереключение при сбоях (failover).

По сути это умный routing-gateway, который сам выбирает самый подходящий модельный эндпоинт под запрос.

Уровень "умности" check:

▪️Автообнаружение: сканирует Ollama/llama.cpp и понимает, какие модели у тебя доступны
▪️Анализ производительности: при первом запуске прогоняет тесты и оценивает скорость/качество каждой модели на твоём железе
▪️Классификация промптов: определяет, что это - код, креативное письмо, Q&A или математика
▪️VRAM-aware: мониторит видеопамять GPU, и если VRAM забита, выгружает неиспользуемые модели

📁 Language: #Python 99.8%

⭐️ Stars: 36

➡️ Cсылка на GitHub

📱 @git_developer