跳到主要内容

配置和启动网关服务器

步骤 1：安装​

首先，安装 MLflow 以及 gateway 额外组件，以获取对一系列与服务相关的依赖项的访问权限，包括 uvicorn 和 fastapi。请注意，直接依赖 OpenAI 是不必要的，因为所有支持的提供商都已对开发人员进行了抽象。

pip install 'mlflow[gateway]'

步骤 2：将 OpenAI Token 设置为环境变量​

接下来，在您的 CLI 中将 OpenAI API 密钥设置为环境变量。

这种方法允许 MLflow AI Gateway 安全地读取敏感的 API 密钥，从而降低在代码中泄露 token 的风险。网关服务器启动后，无需任何额外操作即可读取此环境变量设置的值。

export OPENAI_API_KEY=your_api_key_here

步骤 3：配置网关服务器​

第三，为网关服务器设置多个要托管的路由。网关服务器的配置是通过编辑一个 YAML 文件来完成的，该文件由服务器初始化命令（在步骤 4 中介绍）读取。

值得注意的是，网关服务器允许通过 YAML 配置对正在运行的服务器进行实时更新；更改生效无需重启服务，只需编辑在服务器启动时定义的配置文件即可，从而允许动态创建路由而不中断服务。

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat_3.5
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

步骤 4：启动服务器​

第四，让我们来测试一下网关服务器！

要使用 YAML 配置文件启动网关服务器，请使用 deployments CLI 命令。

网关服务器将自动在 localhost 的 5000 端口上启动，可以通过 URL 访问：https://:5000。要修改这些默认设置，请使用 mlflow gateway start --help 命令查看其他配置选项。

mlflow gateway start --config-path config.yaml
注意

MLflow AI Gateway 会自动创建 API 文档。您可以通过查看文档来验证您的部署服务器是否正在运行。在 Web 浏览器中访问 http://{host}:{port}。