MLflow AI 网关

警告

MLflow AI 网关不支持 Windows。

MLflow AI 网关提供了一个统一的接口，用于在组织内部署和管理多个 LLM 提供商。它通过一个单一、安全的端点简化了与 OpenAI、Anthropic 等服务的交互。

在需要安全管理多个 LLM 提供商，同时保持操作灵活性和开发人员生产力的生产环境中，该网关服务器表现出色。

统一接口

通过单个端点访问多个 LLM 提供商，无需单独集成每个提供商。

集中式安全

将 API 密钥存储在一个安全位置，并进行请求/响应日志记录，以供审计和合规。

提供商抽象

在不更改应用程序代码的情况下，在 OpenAI、Anthropic、Azure OpenAI 和其他提供商之间切换。

零停机更新

动态添加、删除或修改端点，无需重新启动服务器或中断正在运行的应用程序。

成本优化

跨提供商监控使用情况，并通过将请求路由到最有效的模型来优化成本。

团队协作

跨开发团队共享端点配置和标准化访问模式。

开始使用

选择您的路径，开始使用 MLflow AI 网关

设置

安装 MLflow，配置环境，并启动您的网关服务器

开始设置 →

配置

配置提供商、端点和高级网关设置

配置提供商 →

用法

使用 Python 客户端和 REST API 查询端点

开始使用 →

集成

集成应用程序、框架和生产系统

了解集成 →

快速入门

在 5 分钟内让您的 AI 网关与 OpenAI 运行起来

1. 安装

安装带有网关依赖项的 MLflow

bash

pip install 'mlflow[gateway]'

2. 配置

设置您的 OpenAI API 密钥

bash

export OPENAI_API_KEY=your_api_key_here

创建一个简单的配置文件 config.yaml

yaml

endpoints:
  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY

3. 启动服务器

启动网关服务器

bash

mlflow gateway start --config-path config.yaml --port 5000

您的网关现在正在 https://:5000 运行

4. 测试

测试您的端点

bash

curl -X POST https://:5000/gateway/chat/invocations \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

支持的提供商

MLflow AI 网关支持广泛的 LLM 提供商

提供商	聊天	聊天函数调用	完成	Embeddings	备注
OpenAI	✅	✅	✅	✅	GPT-4、GPT-5、文本嵌入模型
Azure OpenAI	✅	✅	✅	✅	带有 Azure 集成的企业版 OpenAI
Anthropic	✅	✅	✅	❌	通过 Anthropic API 的 Claude 模型
Gemini	✅	✅	✅	✅	通过 Gemini API 的 Gemini 模型
AWS Bedrock Claude	✅	✅	✅	✅	AWS Bedrock 提供的 Claude 模型
AWS Bedrock Titan	❌	❌	✅	❌	AWS Bedrock 提供的 Titan 模型
AWS Bedrock AI21	❌	❌	✅	❌	AWS Bedrock 提供的 AI21 模型
MLflow 模型	✅	❌	✅	✅	您自己部署的 MLflow 模型
Cohere (已弃用)	✅	❌	✅	✅	命令和嵌入模型
PaLM (已弃用)	✅	❌	✅	✅	Google 的 PaLM 模型
MosaicML (已弃用)	✅	❌	✅	❌	MPT 模型和自定义部署

核心概念

理解这些关键概念将帮助您有效使用 AI 网关

端点

端点是命名配置，用于定义如何从提供商访问特定模型。每个端点都指定模型、提供商设置和访问参数。

提供商

提供商是实际提供模型的底层 LLM 服务（OpenAI、Anthropic 等）。网关抽象了提供商特定的细节。

路由

路由定义了访问端点的 URL 结构。网关会根据您的端点配置自动创建路由。

动态更新

网关支持配置的热重载，允许您在不重新启动服务器的情况下添加、修改或删除端点。

后续步骤

准备好深入研究了吗？探索这些资源

设置指南

开始安装、环境设置和服务器配置

开始设置 →

用法指南

使用 Python 客户端和 REST API 学习基本查询模式

学习用法 →

集成指南

集成应用程序、框架和生产系统

查看集成 →