OpenLLM позволяет запускать практически любую open-source LLM как OpenAI-совместимый API одной командой.
Поддерживает модели вроде Llama 3.3, Qwen2.5, Phi-4 и DeepSeek R1
Есть встроенный chat UI и современные inference-бэкенды
Локальный сервер запускается одной командой:
openllm serve <model>:<version>
Можно разворачивать через Docker, Kubernetes и BentoCloud
По сути, это быстрый способ поднять локальную или серверную LLM с API, совместимым с OpenAI, без отдельной обвязки.
📁 Language: #Python 95.9%
⭐️ Stars: 12.4k
➡️ Cсылка на GitHub
📱 @git_developer