MLflow AI 网关
MLflow AI 网关提供了一个统一的接口，用于在组织内部署和管理多个 LLM 提供商。它通过一个安全、统一的端点简化了与 OpenAI、Anthropic 等服务的交互。
该网关在生产环境中表现出色，组织需要在其中安全地管理多个 LLM 提供商，同时保持操作灵活性。高级路由功能支持用于 A/B 测试的流量拆分和用于高可用性的自动故障转移链。
MLflow AI 网关还提供直通 (passthrough) 端点，允许请求以提供商的原生格式转发。此功能使您能够在提供商特定功能可用时立即访问它们。
统一接口
通过单个端点访问多个 LLM 提供商，无需单独与每个提供商集成。
集中式安全
将 API 密钥存储在一个安全的位置，并提供请求/响应日志记录，以进行审计跟踪和合规性检查。
高级路由
用于 A/B 测试的流量拆分和自动回退确保了跨提供商的高可用性。
零停机更新
动态添加、删除或修改端点，而无需重新启动服务器或中断正在运行的应用程序。
成本优化
跨提供商监控使用情况，并通过将请求路由到最高效的模型来优化成本。
团队协作
跨开发团队共享端点配置和标准化的访问模式。