跳到主要内容

使用自定义 PyFunc 模型在单个端点上提供多个模型服务

本教程解决了机器学习中的一个常见场景：通过单个端点服务多个模型。利用像 SageMaker 的多模型端点这样的服务，您可以在一个端点下托管大量模型，从而简化部署并降低成本。我们将使用任何 MLflow 兼容的服务结合自定义 PyFunc 实现来复制此功能。

提示

MLflow 2.12.2 引入了“代码模型”功能，该功能通过使用脚本序列化极大地简化了自定义模型的序列化和部署过程。虽然本教程可作为参考，但我们强烈建议您将自定义模型实现迁移到此新模式。您可以在 代码模型指南 中了解更多关于代码模型的信息。

以下是一些考虑此设计的理由

  • 简化的推理：我们将维护一个模型端点，而不是每个模型一个端点，这大大降低了维护和配置的复杂性。
  • 降低服务成本：端点是收费的！如果您的托管服务按计算收费而不是内存收费，这将为您省钱。

本教程包含什么？​

本指南将引导您完成从单个端点服务多个模型的步骤，并将此过程分解为

  1. 创建多个演示 sklearn 模型，每个模型都针对一周中的某一天的数据进行训练。
  2. 将这些模型封装在自定义 PyFunc 模型中，以支持多模型推理。
  3. 对自定义 PyFunc 模型执行推理。
  4. 本地服务自定义 PyFunc 模型并查询我们的端点。

完成本教程后，您将能够有效地从单个端点服务多个模型。

什么是 PyFunc？​

自定义 PyFunc 模型是 MLflow 的一项强大功能，它允许用户在命名模型（flavors）不足的情况下自定义模型功能。我们将假设您具备 PyFunc 的基本工作知识，如果您不熟悉，请查看创建自定义 PyFunc 教程。

我需要做什么？​

要创建 MME，您将创建一个 PythonModel 的子类。更具体地说，我们需要关注以下组件……

  • PythonModel.load_context()：此方法定义了指定 PythonModelContext 中的工件，这些工件可以在评估输入时由 predict() 使用。加载 MLflow 模型时，使用 load_model() 时，在构造 PythonModel 后会立即调用此方法。在我们的示例中，此方法将从 MLflow 模型注册表中加载我们的模型。
  • PythonModel.predict()：此方法评估 pyfunc 兼容的输入并生成 pyfunc 兼容的输出。在我们的示例中，它会分析输入负载，并根据其参数选择并应用适当的模型来返回预测。
  • ModelSignatures：此类定义了预期的输入、输出和参数格式。在我们的示例中，在注册自定义 PyFunc 模型时将传递签名对象，并且将根据签名验证对模型的输入。

准备好亲身体验了吗？查看配套的笔记本，获得实践经验。让我们开始吧！

查看 Notebook