MLflow AI 网关
MLflow 的 AI Gateway 提供了一个统一的接口，用于在组织内部署和管理多个 LLM（大语言模型）提供商。它通过单一、安全的端点简化了与 OpenAI、Anthropic 等服务的交互。
该网关非常适合生产环境，在这些环境中，组织既需要安全地管理多个 LLM 提供商，又要保持运营的灵活性。其高级路由功能支持流量分配（用于 A/B 测试）和自动故障转移链，从而实现高可用性。
MLflow AI Gateway 还提供透传（passthrough）端点，支持以提供商的原生格式转发请求。此功能使您能够在提供商的功能发布后第一时间直接使用它们。
统一接口
通过单一端点访问多个 LLM 提供商，无需分别与每个提供商进行集成。
集中式安全
将 LLM 提供商的 API 密钥存储在统一的安全位置，并通过请求/响应日志记录功能提供审计跟踪和合规性支持。
高级路由
用于 A/B 测试的流量分配和自动回退机制，确保了跨提供商的高可用性。
零停机更新
无需重启服务器或中断运行中的应用程序，即可动态添加、删除或修改端点。
成本优化
监控跨提供商的使用情况，并通过将请求路由至最高效的模型来优化成本。
团队协作
在开发团队之间共享端点配置和标准化的访问模式。
试用 MLflow LLM 和智能体 Demo
了解面向 LLM 和 AI 智能体的 MLflow 的最快方法是试用 Demo。点击启动 Demo ↓
公开 Demo
访问 demo.mlflow.org，探索预装了样本数据的公开托管 MLflow 实例。
从 UI 启动
要启动 Demo，请点击 MLflow UI 顶部页面上的“Start Demo”按钮。
从 CLI 启动
或者，您可以使用 mlflow demo 命令从命令行启动 Demo。此选项不需要您运行 MLflow 服务器。
uvx mlflow demo
后续步骤
快速入门
通过简单的指南在几分钟内启动您的 AI Gateway
LLM 连接
创建和管理 LLM 连接以安全地存储提供商 API 密钥
端点
创建、配置和查询 AI 模型端点
流量路由
配置流量分配和回退以实现高可用性
使用情况跟踪
监控端点使用情况、性能、Token 消耗量和成本
预算警报与限制
设置支出限额并配置成本管理警报
防护网（Guardrails）
利用由 LLM 驱动的判断程序强制执行内容策略，以阻止或清理请求和响应
身份验证
为 AI Gateway 资源配置 HTTP 基本身份验证
性能与基准测试
查看基准测试结果以及如何在您自己的环境中测量网关开销
LLM 游乐场（Playground）
从 MLflow UI 中交互式测试端点，支持多轮对话、采样参数、工具调用和结构化输出