6个AI网关横向对比：路由、治理、缓存与可观测性

AI网关是位于应用代码与模型提供商之间的单一控制面。没有它，每个服务各自处理提供商密钥、重试、速率限制、缓存和日志；有了它，所有请求穿过同一端点，获得一致的访问规则、配额、成本核算和审计记录。

评估网关应关注：是否整合了多提供商接入、能否限制开销是否通过缓存去重、是否保留持久审计日志、能否在延迟/成本/输出质量变化时了解生产状况。

本次对比覆盖六个产品，分为两大类：基础设施优先型（在现有API管理、K8s或边缘平台上扩展AI能力）和LLM原生型（从模型接入、流量监控入手）。选型取决于你的真实约束是基础设施控制、提供商路由，还是将生产流量与质量度量挂钩。

1. Braintrust Gateway
最适合想将模型路由与追踪/评估整合在同一系统中的团队。提供单一API路由至OpenAI、Anthropic、Google、AWS、Azure、Mistral等。通过指向gateway.braintrust.dev即可接入。关键特性：网关流量默认进入可观测与评估层，无需额外插桩即可追踪输入、输出、延迟和成本；这些跨度可评分、注释、加入数据集、用于CI检查。缓存支持AES-GCM加密并按用户隔离。免费Beta中，Pro $249/月。

2. Portkey
面向需要托管网关捆绑治理、护栏、提示管理与合规控制的企业团队。通用API包含路由、回退、负载均衡、重试、虚拟密钥、日志、追踪、元数据、过滤器和告警。支持确定性护栏与基于LLM的护栏。Free层10K日志请求，付费$49/月起，企业版含SSO、细粒度预算等。

3. LiteLLM
适合有DevOps能力的团队，运行自托管开源网关。Python SDK及Proxy Server支持100+提供商，提供虚拟密钥、预算、团队、负载均衡、RPM/TPM限制、护栏及日志集成（Braintrust、Langfuse等）。免费开源，企业版含SSO和审计日志。

4. Kong AI Gateway
适合已运行Kong的企业，将AI控制能力通过插件嵌入现有API管理栈：通用LLM路由、语义缓存、MCP/A2A网关、RAG注入、护栏等。需部署完整API管理平台，部分插件需付费，无原生评估工作流。30天免费试用。

5. SUSE AI Universal Proxy
面向K8s原生企业，关注MCP服务器治理与代理。开源（Apache 2.0），提供发现、注册、身份认证、成本追踪、日志等功能。更偏向MCP治理层而非通用LLM路由器。需K8s与平台运维能力。

6. Cloudflare AI Gateway
希望边缘缓存、速率限制、使用可见性且无需运维的团队。通过Cloudflare路由AI请求，核心功能全计划免费。可观测性以指标和日志为主，结构化评估需独立系统。部分功能处于Beta或依赖其他Cloudflare订阅。

选型总结
- 基础设施治理是约束 → Kong或SUSE
- 你想拥有代理 → LiteLLM（覆盖最广、免费，但需工程能力）
- 需要治理/护栏/提示管理一体化 → Portkey
- 需要边缘缓存+零运维 → Cloudflare
- 需要路由直接接入评估与发布检查 → Braintrust（唯一将网关流量变为评估输入的选项）

值得注意的差距：五款工具停留在告诉你发生了什么（指标、日志、成本仪表盘），而网关本身就持有最宝贵的评估数据——真实输入、输出、延迟和成本。如果这些数据不能流入数据集、评分器与预发布检查，你仍需重建第二条管道。Braintrust是本次对比中唯一围绕闭环构建的产品，这使其成为推荐首位，而非单个网关特性。

#开发者 #工具 #AIGateway #Braintrust #Portkey #LiteLLM #Kong #SUSE #Cloudflare #LLM #可观测性
@DevToolboxHub