SIE（Superlinked Inference Engine）是面向智能体任务的开源推理服务器，提供统一的 OpenAI 兼容 API，涵盖向量检索、文档转 Markdown、结构化输出、内容安全以及完整的 agent 循环。一次部署即可在同一集群中按需加载并并发运行 100+ 模型，避免为每个任务单独搭建模型服务。
项目内置模型目录（Stella、SPLADE、Qwen3、GLiNER、SigLIP 等），支持 Kubernetes/Helm 部署、KEDA 自动伸缩和 Grafana 监控，兼容 LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDB 等生态。开发者可通过 pip 安装sie-server[local]本地启动，或使用官方 Docker 镜像在 GPU/CPU 环境快速部署。
对使用 LLM Agent 的研发团队而言，SIE 能替代多套模型服务器，显著降低运维复杂度和成本；通过 OpenAI 兼容端点，现有代码可无缝迁移，快速接入搜索、嵌入、生成等功能。
GitHub
#GitHub #开源 #SIE #InferenceEngine #LLM #Kubernetes @GitHub开源榜
@GitHubTrendingHub