AI Gateway 快速入门

通过此简单的演练，在几分钟内启动您的 AI Gateway。

步骤 1：安装和启动 MLflow

安装带有 GenAI 依赖项的 MLflow 并启动服务器

bash

pip install 'mlflow[genai]'
mlflow server --port 5000

AI Gateway 内置于 MLflow Tracking Server 中，可通过 https://:5000 访问。

注意

AI Gateway 需要一个基于 SQL 的后端存储（SQLite、PostgreSQL、MySQL 或 MSSQL）和 FastAPI 跟踪服务器。默认情况下，mlflow server 使用 SQLite 和 FastAPI，因此本次快速入门无需额外配置。

步骤 2：创建您的第一个 API 密钥

导航到 https://:5000/#/gateway 并单击 API 密钥 选项卡。

1. 单击 创建 API 密钥
2. 输入一个名称（例如 my-openai-key）
3. 选择您的提供商（例如 OpenAI）
4. 输入您从提供商处获得的 API 密钥
5. 单击 创建

您的 API 密钥现已安全存储和加密。

步骤 3：创建您的第一个端点

切换到 端点 选项卡并单击 创建端点。

1. 输入一个端点名称（例如 my-chat-endpoint）
2. 选择您的提供商（例如 OpenAI）
3. 选择一个模型（例如 gpt-4o）
4. 从下拉列表中选择您的 API 密钥（您刚刚创建的那个）
5. 单击 创建端点

步骤 4：查询您的端点

使用简单的请求测试您的端点

cURL

bash

curl -X POST https://:5000/gateway/my-chat-endpoint/mlflow/invocations \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Python

python

import requests

response = requests.post(
    "https://:5000/gateway/my-chat-endpoint/mlflow/invocations",
    json={"messages": [{"role": "user", "content": "Hello!"}]},
)
print(response.json())

OpenAI SDK

python

from openai import OpenAI

client = OpenAI(
    base_url="https://:5000/gateway/mlflow/v1",
    api_key="",  # Not needed - API key is configured server-side
)

response = client.chat.completions.create(
    model="my-chat-endpoint",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)

您应该会收到来自您配置的模型的响应。

后续步骤

现在您有了一个可用的网关，可以探索这些功能

• 创建和管理 API 密钥 - 了解凭证管理和最佳实践
• 创建和管理端点 - 使用多个模型配置端点
• 查询端点 - 探索统一 API 和直通 API
• 模型提供商 - 查看所有支持的提供商和模型
• 流量路由与回退 - 设置 A/B 测试和高可用性