MLflow AI 网关

警告

MLflow AI 网关不支持 Windows。

MLflow AI 网关提供了一个统一的接口，用于在组织内部署和管理多个 LLM 提供商。它通过一个单一、安全的端点简化了与 OpenAI、Anthropic 等服务的交互。

网关服务器在生产环境中表现出色，组织需要在其中安全地管理多个 LLM 提供商，同时保持操作灵活性和开发人员生产力。

统一接口

通过一个端点访问多个 LLM 提供商，无需单独与每个提供商集成。

集中式安全

将 API 密钥存储在一个安全位置，并进行请求/响应日志记录，以用于审计跟踪和合规性。

提供商抽象

在 OpenAI、Anthropic、Azure OpenAI 和其他提供商之间切换，无需更改应用程序代码。

零停机更新

动态添加、删除或修改端点，无需重启服务器或中断正在运行的应用程序。

成本优化

监控跨提供商的使用情况，并通过将请求路由到最有效的模型来优化成本。

团队协作

跨开发团队共享端点配置和标准化访问模式。

开始使用

选择您的路径以启动和运行 MLflow AI 网关

设置

安装 MLflow，配置环境，并启动您的网关服务器

开始设置 →

配置

配置提供商、端点和高级网关设置

配置提供商 →

用法

使用 Python 客户端和 REST API 查询端点

开始使用 →

集成

与应用程序、框架和生产系统集成

了解集成 →

快速入门

在 5 分钟内让您的 AI 网关与 OpenAI 协同工作

1. 安装

安装带有网关依赖项的 MLflow

pip install 'mlflow[gateway]'

2. 配置

设置您的 OpenAI API 密钥

export OPENAI_API_KEY=your_api_key_here

创建一个简单的配置文件 config.yaml

endpoints:
  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY

3. 启动服务器

启动网关服务器

mlflow gateway start --config-path config.yaml --port 5000

您的网关现在运行在 https://:5000

4. 测试

测试您的端点

curl -X POST https://:5000/gateway/chat/invocations \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

支持的提供商

MLflow AI 网关支持全面的 LLM 提供商

提供商	聊天	补全	嵌入	备注
OpenAI	✅	✅	✅	GPT-3.5、GPT-4、文本嵌入模型
Azure OpenAI	✅	✅	✅	与 Azure 集成的企业级 OpenAI
Anthropic	✅	✅	❌	通过 Anthropic API 使用 Claude 模型
Cohere	✅	✅	✅	命令和嵌入模型
AWS Bedrock	✅	✅	✅	Claude、Titan 和其他 Bedrock 模型
PaLM	✅	✅	✅	Google 的 PaLM 模型
MosaicML	✅	✅	❌	MPT 模型和自定义部署
MLflow 模型	✅	✅	✅	您自己部署的 MLflow 模型

核心概念

了解这些关键概念将帮助您有效地使用 AI 网关

端点

端点是命名配置，定义了如何从提供商访问特定模型。每个端点指定模型、提供商设置和访问参数。

提供商

提供商是实际提供模型的底层 LLM 服务（OpenAI、Anthropic 等）。网关抽象了提供商特定的细节。

路由

路由定义了访问端点的 URL 结构。网关根据您的端点配置自动创建路由。

动态更新

网关支持热加载配置，允许您在不重启服务器的情况下添加、修改或删除端点。

后续步骤

准备好深入了解了吗？探索这些资源

设置指南

开始安装、环境设置和服务器配置

开始设置 →

使用指南

学习使用 Python 客户端和 REST API 进行基本查询模式

学习使用 →

集成指南

与应用程序、框架和生产系统集成

查看集成 →