跳到主要内容

将 MLflow 模型部署为本地推理服务器

MLflow 允许您只使用一条命令在本地部署模型。这种方法非常适合轻量级应用程序，或在将模型迁移到预生产或生产环境之前在本地测试模型。

如果您是 MLflow 模型部署的新手，请首先阅读关于MLflow 部署的指南，以了解 MLflow 模型和部署的基本概念。

部署推理服务器​

在部署之前，您必须拥有一个 MLflow 模型。如果您没有，可以通过遵循MLflow 追踪快速入门来创建一个示例 scikit-learn 模型。请记住记下模型 URI，例如 models:/<model_id>（如果您在MLflow 模型注册表中注册了模型，则为 models:/<model_name>/<model_version>）。

一旦模型准备就绪，部署到本地服务器就非常简单了。使用 mlflow models serve 命令可以实现一步部署。此命令会启动一个本地服务器，该服务器会监听指定端口并提供模型服务。有关可用选项，请参阅 CLI 参考。

mlflow models serve -m runs:/<run_id>/model -p 5000

然后，您可以按如下方式向服务器发送测试请求

curl http://127.0.0.1:5000/invocations -H "Content-Type:application/json"  --data '{"inputs": [[1, 2], [3, 4], [5, 6]]}'

可以使用几个命令行选项来自定义服务器的行为。例如，--env-manager 选项允许您选择特定的环境管理器（如 Anaconda）来创建虚拟环境。mlflow models 模块还提供了其他有用的命令，例如构建 Docker 镜像或生成 Dockerfile。有关全面详细信息，请参阅 MLflow CLI 参考。

推理服务器规范​

端点​

推理服务器提供 4 个端点

  • /invocations: 一个推理端点，接受带有输入数据的 POST 请求并返回预测。

  • /ping: 用于健康检查。

  • /health: 同 /ping

  • /version: 返回 MLflow 版本。

接受的输入格式​

/invocations 端点接受 CSV 或 JSON 输入。输入格式必须在 Content-Type 头中指定为 application/json 或 application/csv。

CSV 输入​

CSV 输入必须是有效的 pandas.DataFrame CSV 表示形式。例如

curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/csv' --data '1,2,3,4'

JSON 输入​

您可以传入与所需模型负载相对应的平面字典，或者将负载包装在一个字典中，并使用一个字典键指定您的负载格式。

封装的负载字典​

如果您的模型格式不受上述支持，或者您希望避免将输入数据转换为所需的负载格式，则可以利用下面的字典负载结构。

字段描述示例
dataframe_splitsplit 方向的 Pandas DataFrames。
{"dataframe_split": pandas_df.to_dict(orient="split")}
dataframe_records记录方向的 Pandas DataFrame。我们不建议使用此格式，因为它不能保证保留列顺序。
{"dataframe_records": pandas_df.to_dict(orient="records")}
instances按照 TF Serving 的 API 文档中描述的格式化的张量输入，其中提供的输入将被转换为 Numpy 数组。
{"instances": [1.0, 2.0, 5.0]}
inputs与 instances 相同，但键不同。
{"inputs": [["Cheese"], ["and", "Crackers"]]}
示例
# Prerequisite: serve a custom pyfunc OpenAI model (not mlflow.openai) on localhost:5678
#   that defines inputs in the below format and params of `temperature` and `max_tokens`

import json
import requests

payload = json.dumps(
    {
        "inputs": {"messages": [{"role": "user", "content": "Tell a joke!"}]},
        "params": {
            "temperature": 0.5,
            "max_tokens": 20,
        },
    }
)
response = requests.post(
    url=f"https://:5678/invocations",
    data=payload,
    headers={"Content-Type": "application/json"},
)
print(response.json())

JSON 输入还可以包含一个可选的 params 字段，用于传递附加参数。有效的参数类型是 Union[DataType, List[DataType], None]，其中 DataType 是 MLflow 数据类型。要传递参数，必须定义具有 params 的有效 模型签名。

curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "inputs": {"question": ["What color is it?"],
                "context": ["Some people said it was green but I know that it is pink."]},
    "params": {"max_answer_len": 10}
}'
注意

由于 JSON 会丢弃类型信息，如果模型模式可用，MLflow 会将 JSON 输入转换为模式中指定的输入类型。如果您的模型对输入类型敏感，建议为模型提供模式，以确保在推理时不会发生类型不匹配错误。特别是，深度学习模型通常对输入类型严格，需要模型模式才能正确评分。对于复杂数据类型，请参阅下面的编码复杂数据。

原始负载字典​

如果您的负载采用您的 mlflow 服务模型将接受的格式，并且它在下面支持的模型中，您可以传递原始负载字典。

支持的请求格式描述示例
OpenAI 聊天OpenAI 聊天请求负载†
{
    "messages": [{"role": "user", "content": "Tell a joke!"}],  # noqa
    "temperature": 0.0,
}

† 请注意，使用 OpenAI API 时**不应**包含 model 参数，因为其配置由 MLflow 模型实例设置。所有其他参数都可以自由使用，前提是它们在已记录的模型签名中的 params 参数中定义。

示例
# Prerequisite: serve a Pyfunc model accepts OpenAI-compatible chat requests on localhost:5678 that defines
#   `temperature` and `max_tokens` as parameters within the logged model signature

import json
import requests

payload = json.dumps(
    {
        "messages": [{"role": "user", "content": "Tell a joke!"}],
        "temperature": 0.5,
        "max_tokens": 20,
    }
)
requests.post(
    url=f"https://:5678/invocations",
    data=payload,
    headers={"Content-Type": "application/json"},
)
print(requests.json())

编码复杂数据​

复杂数据类型（例如日期或二进制）没有本机 JSON 表示。如果您包含模型签名，MLflow 可以自动从 JSON 解码支持的数据类型。支持以下数据类型转换

  • 二进制：数据预计为 base64 编码，MLflow 将自动进行 base64 解码。

  • 日期时间：数据预计按照 ISO 8601 规范编码为字符串。MLflow 将在给定平台上将其解析为相应的日期时间表示。

示例请求

# record-oriented DataFrame input with binary column "b"
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '[
    {"a": 0, "b": "dGVzdCBiaW5hcnkgZGF0YSAw"},
    {"a": 1, "b": "dGVzdCBiaW5hcnkgZGF0YSAx"},
    {"a": 2, "b": "dGVzdCBiaW5hcnkgZGF0YSAy"}
]'

# record-oriented DataFrame input with datetime column "b"
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '[
    {"a": 0, "b": "2020-01-01T00:00:00Z"},
    {"a": 1, "b": "2020-02-01T12:34:56Z"},
    {"a": 2, "b": "2021-03-01T00:00:00Z"}
]'

服务框架​

默认情况下，MLflow 使用 FastAPI（一个用于 Python 的现代 ASGI Web 应用程序框架）来提供推理端点。FastAPI 异步处理请求，并被认为是速度最快的 Python 框架之一。这个生产就绪框架适用于大多数用例。此外，MLflow 还集成了 MLServer 作为替代服务引擎。MLServer 通过利用异步请求/响应范式和工作负载卸载实现了更高的性能和可伸缩性。此外，MLServer 被用作 Kubernetes 原生框架（如 Seldon Core 和 KServe (以前称为 KFServing)）中的核心 Python 推理服务器，因此它提供了开箱即用的高级功能，例如金丝雀部署和自动扩展。

用例标准用例，包括本地测试。高规模生产环境。
设置FastAPI 默认与 MLflow 一起安装。需要单独安装。
性能FastAPI 原生支持异步请求处理，使其非常适合 I/O 密集型任务，包括机器学习工作负载。有关基准测试以及与其他 Python 框架的比较，请参阅 FastAPI 基准测试。专为高性能机器学习工作负载设计，通常提供更好的吞吐量和效率。MLServer 支持异步请求/响应范式，通过将机器学习推理工作负载卸载到单独的工作池（进程），使服务器能够在处理推理的同时继续接受新请求。有关它们如何实现此目的的更多详细信息，请参阅 MLServer 并行推理。此外，MLServer 支持 自适应批处理，可以透明地将请求一起批处理以提高吞吐量和效率。
可伸缩性虽然 FastAPI 通常在分布式环境中表现良好，但 MLflow 只是使用 uvicorn 运行它，并且不支持开箱即用的横向扩展。除了上述对并行推理的支持之外，MLServer 还被用作 Kubernetes 原生框架（例如 Seldon Core 和 KServe（以前称为 KFServing））中的核心推理服务器。通过使用 MLServer 将 MLflow 模型部署到 Kubernetes，您可以利用这些框架的高级功能（例如自动扩展）来实现高可伸缩性。

MLServer 通过 /invocations 端点暴露相同的评分 API。要使用 MLServer 部署，请首先使用 pip install mlflow[extras] 安装其他依赖项，然后使用 --enable-mlserver 选项执行部署命令。例如，

mlflow models serve -m runs:/<run_id>/model -p 5000 --enable-mlserver

要了解有关 MLflow 和 MLServer 之间集成的更多信息，请查看 MLServer 文档中的端到端示例。您还可以找到使用 MLServer 将 MLflow 模型部署到 Kubernetes 集群的指南，请参阅将模型部署到 Kubernetes。

运行批量推理​

您可以使用 mlflow models predict 命令在本地文件上执行单个批量推理作业，而不是运行在线推理端点。以下命令对 input.csv 运行模型预测并将结果输出到 output.csv。

mlflow models predict -m models:/<model_id> -i input.csv -o output.csv

故障排除​