跳到主要内容

MLflow AI Gateway 入门

MLflow AI Gateway 提供了一个统一的接口来部署和管理 LLM 提供商,提供集中的 API 密钥管理和与多个语言模型服务的无缝集成。

安装与设置

安装依赖项并配置您的 AI Gateway 环境

配置

设置 API 密钥并为多个 LLM 提供商定义端点

Gateway 服务器

以零停机更新启动和管理您的 AI Gateway 服务器

API 集成

使用 REST API 和 Python 客户端库查询端点

通过遵循本指南,您将拥有一个生产就绪的 MLflow AI Gateway,该网关通过安全的 API 密钥管理和统一的端点配置集中访问多个 LLM 提供商。

分步教程