跳到主要内容

配置和启动 Gateway 服务器

步骤 1：安装​

首先，安装 MLflow 以及 genai 额外依赖项，以便访问一系列与服务相关的依赖项，包括 uvicorn 和 fastapi。请注意，直接依赖 OpenAI 是不必要的，因为所有支持的提供商都已从开发人员那里抽象出来。

pip install 'mlflow[genai]'

步骤 2：将 OpenAI 令牌设置为环境变量​

接下来，在 CLI 中将 OpenAI API 密钥设置为环境变量。

这种方法允许 MLflow AI Gateway 安全地读取敏感的 API 密钥，从而降低在代码中泄露令牌的风险。 Gateway 服务器启动后，将读取此环境变量设置的值，而无需任何其他操作。

export OPENAI_API_KEY=your_api_key_here

步骤 3：配置 gateway 服务器​

第三，为 gateway 服务器设置多个路由来托管。 gateway 服务器的配置是通过编辑 YAML 文件来完成的，该文件由服务器初始化命令读取（在步骤 4 中介绍）。

值得注意的是，gateway 服务器允许通过 YAML 配置实时更新活动服务器；服务重启不是生效更改所必需的，而是可以通过简单地编辑在服务器启动时定义的配置文件来完成，从而允许动态路由创建而无需服务停机。

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat_3.5
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

步骤 4：启动服务器​

第四，让我们测试一下 gateway 服务器！

要使用 YAML 配置文件启动 gateway 服务器，请使用 deployments CLI 命令。

gateway 服务器将自动在 localhost 上的 5000 端口启动，可通过 URL 访问：https://:5000。要修改这些默认设置，请使用 mlflow gateway start --help 命令查看其他配置选项。

mlflow gateway start --config-path config.yaml
注意

MLflow AI Gateway 自动创建 API 文档。您可以通过查看文档来验证您的部署服务器是否正在运行。在您的 Web 浏览器中转到 http://{host}:{port}。