📞 vLLM-CLI — удобный инструмент командной строки для управления vLLM-серверами
Инструмент объединяет удобный интерфейс, профили конфигурации и мониторинг, делая работу с LLM комфортной и быстрой.
Основные возможности:
🟠 Интерактивный режим — меню прямо в терминале, не нужно запоминать длинные аргументы.
🟠 Командный режим — можно автоматизировать запуск и мониторинг серверов.
🟠 Управление моделями:
• Автоматический поиск локальных моделей.
• Поддержка загрузки моделей из Hugging Face Hub.
🟠 Профили конфигурации: встроенные варианты (`standard`,
moe_optimized, `high_throughput`) для разных сценариев, включая работу с несколькими GPU. 🟠 Мониторинг сервера: просмотр загрузки GPU, памяти и логов в реальном времени.
Гитхаб
👉Новости 👉База вопросов