跳到主要内容

配置并启动网关服务器

步骤 1：安装​

首先，安装 MLflow 以及 gateway 附加组件，以获取一系列与服务相关的依赖项，包括 uvicorn 和 fastapi。请注意，不需要直接依赖 OpenAI，因为所有支持的提供商都已从开发者抽象出来。

pip install 'mlflow[gateway]'

步骤 2：将 OpenAI 令牌设置为环境变量​

接下来，在你的 CLI 中将 OpenAI API 密钥设置为环境变量。

这种方法允许 MLflow AI Gateway 安全地读取敏感 API 密钥，从而降低代码中泄露令牌的风险。网关服务器启动时，将读取此环境变量设置的值，无需任何额外操作。

export OPENAI_API_KEY=your_api_key_here

步骤 3：配置网关服务器​

第三，为网关服务器设置多个路由。网关服务器的配置通过编辑 YAML 文件完成，该文件由服务器初始化命令读取（在步骤 4 中介绍）。

值得注意的是，网关服务器允许通过 YAML 配置对活动服务器进行实时更新；更改无需重启服务即可生效，只需编辑服务器启动时定义的配置文件即可，从而允许动态创建路由而无需停机。

endpoints:
  - name: completions
    endpoint_type: llm/v1/completions
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: chat_3.5
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4o-mini
      config:
        openai_api_key: $OPENAI_API_KEY

  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

步骤 4：启动服务器​

第四，让我们测试一下网关服务器！

要使用 YAML 配置文件启动网关服务器，请使用 deployments CLI 命令。

网关服务器将自动在端口 5000 的 localhost 上启动，可通过 URL：https://:5000 访问。要修改这些默认设置，请使用 mlflow gateway start --help 命令查看其他配置选项。

mlflow gateway start --config-path config.yaml
注意

MLflow AI Gateway 会自动创建 API 文档。您可以通过查看文档来验证您的部署服务器是否正在运行。在您的网络浏览器中访问 http://{host}:{port}。