跳到主要内容

MLflow AI 网关入门

MLflow AI 网关提供了一个统一的接口,用于部署和管理大型语言模型(LLM)提供商,提供集中的 API 密钥管理,并与多个语言模型服务无缝集成。

安装和设置

安装依赖项并配置您的 AI 网关环境

配置

为多个 LLM 提供商设置 API 密钥并定义端点

网关服务器

启动和管理您的 AI 网关服务器,支持零停机更新

API 集成

使用 REST API 和 Python 客户端库查询端点

通过遵循本指南,您将拥有一个生产就绪的 MLflow AI 网关,它可以通过安全的 API 密钥管理和统一的端点配置,集中访问多个 LLM 提供商。

分步教程