HeteroFlow 是一款开源的异构算力调度平台，其 v2 推理服务已于 2026 年 8 月 8 日发布。该功能面向多厂商 GPU 混部场景，解决异构资源调度、推理引擎适配和运维管理三大痛点。
核心能力是用一套 OpenAI 兼容 API 统一调度 9 种厂商 GPU 与 5 种推理引擎，原生支持多租户、计费、扩缩容和热加载。对需要管理混合 GPU 集群、又不想绑定单一云厂商的团队来说，可以省去自建调度层的成本。
面向的典型场景包括：异构 GPU 集群统一纳管、多租户资源隔离与配额计费、推理服务按负载自动扩缩容，以及模型更新时的热加载，无需重启服务。
兼容 OpenAI API 意味着现有应用只需改 endpoint 即可接入，迁移成本较低。平台同时覆盖调度与推理两层，适合作为内部 AI 基础设施的统一入口。
对正在搭建或维护推理平台的技术团队，HeteroFlow v2 提供了一个开箱即用的开源选项，值得关注。
#GitHub #开源 #HeteroFlow #异构算力 #GPU调度 #推理服务 #OpenAI兼容
@GitHubTrendingHub