跳到主要内容

配置和启动网关服务器

步骤 1: 安装​

首先，安装 MLflow 并包含 genai extras，以获取一系列与服务相关的依赖项，包括 uvicorn 和 fastapi。请注意，直接依赖于 OpenAI 是不必要的，因为所有支持的提供商都已从开发者抽象出来。

pip install 'mlflow[genai]'

步骤 2: 将 OpenAI Token 设置为环境变量​

接下来，在你的 CLI 中将 OpenAI API 密钥设置为环境变量。

这种方法使得 MLflow AI 网关能够安全地读取敏感的 API 密钥，从而降低在代码中泄露 token 的风险。网关服务器启动时，将无需任何额外操作即可读取此环境变量设置的值。

export OPENAI_API_KEY=your_api_key_here

步骤 3: 配置网关服务器​

第三步，为网关服务器设置要托管的多个路由。网关服务器的配置是通过编辑一个 YAML 文件完成的，该文件由服务器初始化命令读取（步骤 4 中涵盖）。

值得注意的是，网关服务器允许通过 YAML 配置对活动服务器进行实时更新；更改生效无需重新启动服务，只需编辑服务器启动时定义的配置文件即可，从而允许在服务不停机的情况下动态创建路由。

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat_3.5
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

步骤 4: 启动服务器​

第四步，我们来测试网关服务器！

要使用 YAML 配置文件启动网关服务器，请使用 deployments CLI 命令。

网关服务器将自动在 localhost 的端口 5000 上启动，可通过 URL http://localhost:5000 访问。要修改这些默认设置，请使用 mlflow gateway start --help 命令查看额外的配置选项。

mlflow gateway start --config-path config.yaml
注意

MLflow AI 网关会自动创建 API 文档。您可以通过查看文档来验证您的部署服务器是否正在运行。在您的网络浏览器中访问 http://{host}:{port}。