MLflow AI 网关

警告

MLflow AI 网关不支持 Windows。

MLflow AI 网关为在组织内部署和管理多个 LLM 提供商提供了一个统一的界面。它通过单个安全端点简化了与 OpenAI、Anthropic 等服务的交互。

在需要安全管理多个 LLM 提供商，同时保持操作灵活性和开发人员生产力的生产环境中，该网关服务器表现出色。

统一界面

通过单个端点访问多个 LLM 提供商，无需单独与每个提供商集成。

集中式安全

在一个安全的位置存储 API 密钥，并记录请求/响应以进行审计和合规性检查。

提供商抽象

无需更改应用程序代码，即可在 OpenAI、Anthropic、Azure OpenAI 和其他提供商之间进行切换。

零停机更新

动态添加、删除或修改端点，无需重新启动服务器或中断正在运行的应用程序。

成本优化

监控跨提供商的使用情况，并通过将请求路由到最高效的模型来优化成本。

团队协作

跨开发团队共享端点配置和标准化访问模式。

开始使用

选择您快速上手 MLflow AI 网关的路径

设置

安装 MLflow，配置环境，然后启动您的网关服务器

开始设置 →

配置

配置提供商、端点和高级网关设置

配置提供商 →

用法

使用 Python 客户端和 REST API 查询端点

开始使用 →

集成

与应用程序、框架和生产系统集成

了解集成 →

快速入门

在 5 分钟内让您的 AI 网关与 OpenAI 运行起来

1. 安装

安装带有网关依赖项的 MLflow

pip install 'mlflow[gateway]'

2. 配置

设置您的 OpenAI API 密钥

export OPENAI_API_KEY=your_api_key_here

创建一个简单的配置文件 config.yaml

endpoints:
  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY

3. 启动服务器

启动网关服务器

mlflow gateway start --config-path config.yaml --port 5000

您的网关现已在 https://:5000 上运行

4. 测试

测试您的端点

curl -X POST https://:5000/gateway/chat/invocations \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

支持的提供商

MLflow AI 网关支持全面的 LLM 提供商

提供商	聊天	完成	Embeddings	备注
OpenAI	✅	✅	✅	GPT-3.5、GPT-4、文本嵌入模型
Azure OpenAI	✅	✅	✅	带 Azure 集成的企业级 OpenAI
Anthropic	✅	✅	❌	通过 Anthropic API 的 Claude 模型
Cohere	✅	✅	✅	Command 和嵌入模型
AWS Bedrock	✅	✅	✅	Claude、Titan 和其他 Bedrock 模型
PaLM	✅	✅	✅	Google 的 PaLM 模型
MosaicML	✅	✅	❌	MPT 模型和自定义部署
MLflow 模型	✅	✅	✅	您自己部署的 MLflow 模型

核心概念

理解这些关键概念将帮助您有效使用 AI 网关

端点

端点是命名配置，用于定义如何从特定提供商访问特定模型。每个端点都指定模型、提供商设置和访问参数。

提供商

提供商是实际提供模型的底层 LLM 服务（OpenAI、Anthropic 等）。网关抽象了提供商特定的细节。

路由

路由定义了访问端点的 URL 结构。网关会根据您的端点配置自动创建路由。

动态更新

网关支持配置的热重载，允许您在不重新启动服务器的情况下添加、修改或删除端点。

后续步骤

准备深入了解？探索这些资源

设置指南

开始安装、环境设置和服务器配置

开始设置 →

使用指南

学习使用 Python 客户端和 REST API 的基本查询模式

学习使用 →

集成指南

与应用程序、框架和生产系统集成

查看集成 →