Інструмент для швидкого розгортання будь-якої open-source мовної моделі з API, сумісним з OpenAI.
Ключові можливості:
• Підтримка Llama 3.3, Qwen2.5, Phi-4, DeepSeek R1
• Вбудований chat UI та сучасні inference-бекенди
• Розгортання через Docker, Kubernetes та BentoCloud
Запуск локального сервера:
openllm serve <model>:<version>💻 Технології: Python
🛠 Платформи: Linux, macOS, Windows, Docker, Kubernetes
Переглянути репозиторій
Підписатися • GitHub 🇺🇦
#python #ai #api #ml #docker