跳到主要内容

将 MLflow 模型部署为本地推理服务器

MLflow 允许您只使用一条命令即可在本地部署模型。这种方法非常适合轻量级应用程序，或者在将模型部署到预演或生产环境之前进行本地测试。

如果您是 MLflow 模型部署的新手，请先阅读有关 MLflow 部署的指南，以了解 MLflow 模型和部署的基本概念。

部署推理服务器​

在部署之前，您必须有一个 MLflow 模型。如果您没有，可以按照 MLflow 跟踪快速入门来创建一个示例 scikit-learn 模型。请记住记下模型 URI，例如 models:/<model_id>（如果您在 MLflow 模型注册表中注册了模型，则为 models:/<model_name>/<model_version>）。

模型准备就绪后，部署到本地服务器就变得简单直接。使用 mlflow models serve 命令进行一步部署。此命令启动一个本地服务器，该服务器侦听指定端口并为您的模型提供服务。有关可用选项，请参阅 CLI 参考。

mlflow models serve -m runs:/<run_id>/model -p 5000

然后，您可以按如下方式向服务器发送测试请求

curl http://127.0.0.1:5000/invocations -H "Content-Type:application/json"  --data '{"inputs": [[1, 2], [3, 4], [5, 6]]}'

有几个命令行选项可用于自定义服务器的行为。例如，--env-manager 选项允许您选择一个特定的环境管理器（如 Anaconda）来创建虚拟环境。mlflow models 模块还提供了其他有用的命令，例如构建 Docker 镜像或生成 Dockerfile。有关详细信息，请参阅 MLflow CLI 参考。

推理服务器规范​

端点​

推理服务器提供 4 个端点

  • /invocations：一个推理端点，接受带有输入数据的 POST 请求并返回预测结果。

  • /ping：用于健康检查。

  • /health：与 /ping 相同

  • /version：返回 MLflow 版本。

支持的输入格式​

/invocations 端点接受 CSV 或 JSON 输入。输入格式必须在 Content-Type 头部中指定为 application/json 或 application/csv。

CSV 输入​

CSV 输入必须是有效的 pandas.DataFrame CSV 表示形式。例如

curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/csv' --data '1,2,3,4'

JSON 输入​

您可以传递一个与所需模型负载对应的扁平字典，或者将负载包装在一个带有指定负载格式的字典键的字典中。

封装负载字典​

如果您的模型格式不支持上述类型，或者您想避免将输入数据转换为所需的负载格式，则可以使用下面的字典负载结构。

字段描述示例
dataframe_split以 split 方向表示的 Pandas DataFrame。
{"dataframe_split": pandas_df.to_dict(orient="split")}
dataframe_records以 records 方向表示的 Pandas DataFrame。我们不建议使用此格式，因为它不保证保留列顺序。
{"dataframe_records": pandas_df.to_dict(orient="records")}
instances张量输入格式，如 TF Serving 的 API 文档 中所述，其中提供的输入将被转换为 Numpy 数组。
{"instances": [1.0, 2.0, 5.0]}
inputs与 instances 相同，但使用不同的键。
{"inputs": [["Cheese"], ["and", "Crackers"]]}
示例
# Prerequisite: serve a custom pyfunc OpenAI model (not mlflow.openai) on localhost:5678
#   that defines inputs in the below format and params of `temperature` and `max_tokens`

import json
import requests

payload = json.dumps(
    {
        "inputs": {"messages": [{"role": "user", "content": "Tell a joke!"}]},
        "params": {
            "temperature": 0.5,
            "max_tokens": 20,
        },
    }
)
response = requests.post(
    url=f"https://:5678/invocations",
    data=payload,
    headers={"Content-Type": "application/json"},
)
print(response.json())

JSON 输入还可以包含一个可选的 params 字段，用于传递额外参数。有效参数类型为 Union[DataType, List[DataType], None]，其中 DataType 是 MLflow 数据类型。要传递参数，必须定义一个带有 params 的有效 模型签名。

curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "inputs": {"question": ["What color is it?"],
                "context": ["Some people said it was green but I know that it is pink."]},
    "params": {"max_answer_len": 10}
}'
注意

由于 JSON 丢弃类型信息，如果模型模式可用，MLflow 会将 JSON 输入转换为模型模式中指定的输入类型。如果您的模型对输入类型敏感，建议为模型提供一个模式，以确保在推理时不会发生类型不匹配错误。特别是，深度学习模型通常对输入类型要求严格，需要模型模式才能正确评分。对于复杂数据类型，请参阅下面的 编码复杂数据。

原始负载字典​

如果您的负载格式是 mlflow 服务模型将接受的格式，并且它在下面支持的模型中，您可以传递一个原始负载字典。

支持的请求格式描述示例
OpenAI 聊天OpenAI 聊天请求负载†
{
    "messages": [{"role": "user", "content": "Tell a joke!"}],  # noqa
    "temperature": 0.0,
}

† 请注意，在使用 OpenAI API 时，不应包含 model 参数，因为其配置由 MLflow 模型实例设置。所有其他参数都可以自由使用，前提是它们在已记录的模型签名中的 params 参数中定义。

示例
# Prerequisite: serve a Pyfunc model accepts OpenAI-compatible chat requests on localhost:5678 that defines
#   `temperature` and `max_tokens` as parameters within the logged model signature

import json
import requests

payload = json.dumps(
    {
        "messages": [{"role": "user", "content": "Tell a joke!"}],
        "temperature": 0.5,
        "max_tokens": 20,
    }
)
requests.post(
    url=f"https://:5678/invocations",
    data=payload,
    headers={"Content-Type": "application/json"},
)
print(requests.json())

编码复杂数据​

复杂数据类型，例如日期或二进制，没有原生的 JSON 表示形式。如果您包含模型签名，MLflow 可以自动从 JSON 解码支持的数据类型。支持以下数据类型转换

  • 二进制：数据预期为 base64 编码，MLflow 将自动进行 base64 解码。

  • 日期时间：数据预期按照 ISO 8601 规范编码为字符串。MLflow 会将其解析为给定平台上适当的日期时间表示。

示例请求

# record-oriented DataFrame input with binary column "b"
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '[
    {"a": 0, "b": "dGVzdCBiaW5hcnkgZGF0YSAw"},
    {"a": 1, "b": "dGVzdCBiaW5hcnkgZGF0YSAx"},
    {"a": 2, "b": "dGVzdCBiaW5hcnkgZGF0YSAy"}
]'

# record-oriented DataFrame input with datetime column "b"
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '[
    {"a": 0, "b": "2020-01-01T00:00:00Z"},
    {"a": 1, "b": "2020-02-01T12:34:56Z"},
    {"a": 2, "b": "2021-03-01T00:00:00Z"}
]'

服务框架​

默认情况下，MLflow 使用 FastAPI（一个现代的 Python ASGI Web 应用程序框架）来提供推理端点服务。FastAPI 异步处理请求，并被认为是速度最快的 Python 框架之一。这个生产就绪的框架适用于大多数用例。此外，MLflow 还与 MLServer 集成，作为替代的服务引擎。MLServer 通过利用异步请求/响应范式和工作负载卸载来实现更高的性能和可扩展性。MLServer 还被用作 Kubernetes 原生框架（如 Seldon Core 和 KServe（以前称为 KFServing））中的核心 Python 推理服务器，从而提供了诸如金丝雀部署和开箱即用的自动伸缩等高级功能。

用例标准用例，包括本地测试。大规模生产环境。
设置FastAPI 随 MLflow 默认安装。需要单独安装。
性能FastAPI 原生支持异步请求处理，使其非常适合 I/O 密集型任务，包括 ML 工作负载。有关基准测试以及与其他 Python 框架的比较，请参阅 FastAPI 基准测试。专为高性能 ML 工作负载设计，通常能提供更好的吞吐量和效率。MLServer 支持异步请求/响应范式，通过将 ML 推理工作负载卸载到单独的工作池（进程），使服务器在推理处理的同时可以继续接受新请求。有关其实现方式的更多详细信息，请参阅 MLServer 并行推理。此外，MLServer 支持 自适应批处理，可以透明地将请求一起批处理以提高吞吐量和效率。
可扩展性虽然 FastAPI 通常在分布式环境中表现良好，但 MLflow 仅使用 uvicorn 运行它，并且不原生支持横向扩展。除了上述对并行推理的支持之外，MLServer 还被用作 Kubernetes 原生框架（例如 Seldon Core 和 KServe（以前称为 KFServing））中的核心推理服务器。通过将 MLflow 模型与 MLServer 一起部署到 Kubernetes，您可以利用这些框架的高级功能，例如自动伸缩以实现高可扩展性。

MLServer 通过 /invocations 端点公开相同的评分 API。要使用 MLServer 进行部署，首先使用 pip install mlflow[extras] 安装额外的依赖项，然后使用 --enable-mlserver 选项执行部署命令。例如，

mlflow models serve -m runs:/<run_id>/model -p 5000 --enable-mlserver

要了解更多关于 MLflow 和 MLServer 之间集成的信息，请查阅 MLServer 文档中的 端到端示例。您还可以在 将模型部署到 Kubernetes 中找到使用 MLServer 将 MLflow 模型部署到 Kubernetes 集群的指南。

运行批量推理​

您可以使用 mlflow models predict 命令在本地文件上执行单个批量推理作业，而不是运行在线推理端点。以下命令将对 input.csv 运行模型预测并将结果输出到 output.csv。

mlflow models predict -m models:/<model_id> -i input.csv -o output.csv

故障排除​