使用自定义 PyFunc 模型在单个端点上提供多个模型服务

本教程介绍了一种常见的机器学习场景：通过单个端点服务多个模型。利用 Sagemaker 的多模型端点等服务，您可以在一个端点下托管许多模型，从而简化部署并降低成本。我们将使用任何与 MLflow 兼容的服务结合自定义 PyFunc 实现来复制此功能。

提示

MLflow 2.12.2 引入了“代码模型”功能，该功能通过使用脚本序列化极大地简化了自定义模型的序列化和部署过程。虽然本教程可作为参考，但我们强烈建议您将自定义模型实现迁移到此新模式。您可以在 代码模型指南 中了解更多关于代码模型的信息。

以下是考虑此设计的一些原因

• 简化的推理：我们将维护一个模型端点，而不是每个模型一个端点，这大大降低了维护和配置的复杂性。
• 降低服务成本：端点是收费的！如果您的托管服务按计算收费而不是按内存收费，这将为您节省金钱。

本教程包含什么？

本指南将引导您完成从单个端点服务多个模型的步骤，将该过程分解为：

1. 创建许多演示 sklearn 模型，每个模型都在对应一周中一天的相应数据上进行训练。
2. 将这些模型包装在自定义 PyFunc 模型中以支持多模型推理。
3. 对自定义 PyFunc 模型执行推理。
4. 在本地服务自定义 PyFunc 模型并查询我们的端点。

完成本教程后，您将能够有效地从单个端点服务多个模型。

什么是 PyFunc？

自定义 PyFunc 模型是 MLflow 的一项强大功能，它允许用户在缺少命名flavor的情况下自定义模型功能。我们假设您已具备 PyFunc 的基本工作知识，如果您不熟悉，请参阅创建自定义 PyFunc 教程。

我需要做什么？

要创建 MME，您将创建一个PythonModel 的子类实现。更具体地说，我们将需要关注以下组件...

• PythonModel.load_context()：此方法定义了指定 PythonModelContext 的 artifact，这些 artifact 可供 predict() 在评估输入时使用。加载 MLflow 模型时，在构造 PythonModel 后立即调用此方法。在我们的示例中，此方法将从 MLflow 模型注册表中加载我们的模型。
• PythonModel.predict()：此方法评估 pyfunc 兼容的输入并产生 pyfunc 兼容的输出。在我们的示例中，它会分析输入 payload，并根据其参数选择并应用适当的模型来返回预测。
• ModelSignatures：此类定义了预期的输入、输出和参数格式。在我们的示例中，在注册自定义 PyFunc 模型时将传递签名对象，并且输入将根据签名进行验证。

准备好亲身体验了吗？查看随附的笔记本，动手实践。让我们开始吧！

查看 Notebook