跳到主要内容

将 MLflow 模型部署到 Amazon SageMaker

Amazon SageMaker 是一项全托管服务，专为扩展机器学习推理容器而设计。MLflow 通过提供简单易用的命令，免去了编写容器定义的繁琐工作，从而简化了部署流程。

如果您是 MLflow 模型部署的新手，请先阅读 MLflow 部署，了解 MLflow 模型和部署的基本概念。

工作原理​

SageMaker 提供了一项名为 自带容器 (BYOC) 的功能，允许您在推理端点上运行自定义 Docker 容器。这些容器必须满足特定要求，例如运行公开特定 REST 端点的 Web 服务器、具有指定的容器入口点、设置环境变量等。编写满足这些要求的 Dockerfile 和服务脚本可能是一项繁琐的任务。

MLflow 通过代表您从 MLflow 模型构建 Docker 镜像来自动化此过程。随后，它会将该镜像推送到弹性容器注册表 (ECR)，并使用该镜像创建 SageMaker 端点。它还会将模型工件上传到 S3 存储桶，并配置端点以从该处下载模型。

该容器提供与本地推理服务器相同的 REST 端点。例如，/invocations 端点接受 CSV 和 JSON 输入数据并返回预测结果。有关端点的更多详细信息，请参阅 本地推理服务器。

将模型部署到 SageMaker 端点​

本节概述了使用 MLflow CLI 将模型部署到 SageMaker 的过程。有关 Python API 参考和教程，请参阅“有用链接”部分。

第 0 步：准备工作​

安装工具​

如果尚未安装，请确保安装以下工具：

权限设置​

正确设置 AWS 账户和权限。您需要一个具有创建 SageMaker 端点、访问 S3 存储桶和使用 ECR 存储库权限的 IAM 角色。执行部署的用户也应具备承担该角色的权限。通过 在 AWS CLI 中使用 IAM 角色 了解有关此设置的更多信息。

创建 MLflow 模型​

在部署之前，您必须拥有一个 MLflow 模型。如果您还没有，可以按照 MLflow 追踪快速入门 创建一个示例 scikit-learn 模型。请务必记下模型 URI，例如 models:/<model_id>（如果您已在 MLflow 模型注册表 中注册了模型，则为 models:/<model_name>/<model_version>）。

第 1 步：在本地测试您的模型​

建议在将模型部署到生产环境之前先在本地进行测试。mlflow deployments run-local 命令会在 Docker 容器中部署模型，并使用相同的镜像和环境配置，非常适合部署前测试。

bash
mlflow deployments run-local -t sagemaker -m models:/<model_id> -p 5000

然后，您可以通过向端点发送 POST 请求来测试模型。

bash
curl -X POST -H "Content-Type:application/json; format=pandas-split" --data '{"columns":["a","b"],"data":[[1,2]]}' https://:5000/invocations

第 2 步：构建 Docker 镜像并推送到 ECR​

mlflow sagemaker build-and-push-container 命令会构建与 SageMaker 兼容的 Docker 镜像并将其上传到 ECR。

bash
$ mlflow sagemaker build-and-push-container  -m models:/<model_id>

或者，您也可以使用 官方 MLflow Docker 镜像 创建自定义 Docker 镜像，并手动将其推送到 ECR。

第 3 步：部署到 SageMaker 端点​

mlflow deployments create 命令将模型部署到 Amazon SageMaker 端点。MLflow 会将 Python 函数模型上传到 S3，并自动启动一个提供该模型的 Amazon SageMaker 端点。

可以使用各种命令行选项来自定义部署，例如实例类型、实例数量、IAM 角色等。有关完整选项列表，请参阅 CLI 参考。

bash
$ mlflow deployments create -t sagemaker -m runs:/<run_id>/model \
    -C region_name=<your-region> \
    -C instance-type=ml.m4.xlarge \
    -C instance-count=1 \
    -C env='{"DISABLE_NGINX": "true"}''

API 参考​

您有两种将模型部署到 SageMaker 的选择：使用 CLI 或使用 Python API。

有用链接​