MLflow 服务
在训练完机器学习模型并确保其性能之后，下一步是将其部署到生产环境。此过程可能很复杂，但 MLflow 通过提供一套易于使用的工具集来简化此过程，以便将您的 ML 模型部署到各种目标，包括本地环境、云服务和 Kubernetes 集群。
使用 MLflow 部署工具集，您可以享受以下好处：
- 轻松部署：MLflow 提供了一个简单的界面，可以将模型部署到各种目标，无需编写样板代码。
- 依赖项和环境管理：MLflow 确保部署环境与训练环境保持一致，捕获所有依赖项。这保证了模型无论部署到何处都能一致运行。
- 打包模型和代码：使用 MLflow，不仅模型，而且任何补充代码和配置都与部署容器一起打包。这确保了模型可以无缝执行，而不会缺少任何组件。
- 避免厂商锁定：MLflow 为模型打包和部署提供了标准格式和统一 API。您可以轻松地在部署目标之间切换，而无需重写代码。
概念
MLflow 模型
MLflow 模型是一种标准格式，用于打包机器学习模型及其元数据，例如依赖项和推理架构。您通常使用 MLflow 跟踪 API 创建模型作为训练执行的结果，例如 mlflow.pyfunc.log_model()。另外，模型可以通过 MLflow 模型注册表进行注册和检索。要使用 MLflow 部署，您必须首先创建一个模型。
容器
容器在简化和标准化模型部署过程方面起着关键作用。MLflow 使用 Docker 容器将模型与其依赖项打包，从而能够部署到各种目标而不会出现环境兼容性问题。有关如何将模型部署为容器的更多详细信息，请参阅为 MLflow 模型构建 Docker 镜像。如果您是 Docker 新手，可以从 “什么是容器”开始学习。
部署目标
部署目标是指模型的最终环境。MLflow 支持各种目标，包括本地环境、云服务（AWS、Azure）、Kubernetes 集群等。
工作原理
MLflow 模型已经打包了您的模型及其依赖项，因此 MLflow 可以创建虚拟环境（用于本地部署）或 Docker 容器镜像，其中包含运行模型所需的一切。随后，MLflow 使用 FastAPI 等框架启动一个带有 REST 端点的推理服务器，为部署到各种目标以处理推理请求做好准备。有关服务器和端点的详细信息可在推理服务器规范中找到。
MLflow 提供CLI 命令和Python API 来简化部署过程。所需的命令因部署目标而异，因此请继续阅读下一节，了解有关特定目标的更多详细信息。
支持的部署目标
MLflow 支持各种部署目标。有关每个目标的详细信息和教程，请单击以下相应链接。
使用 MLflow 将模型本地部署为推理服务器非常简单，只需一个命令 mlflow models serve。
Amazon SageMaker 是一项完全托管的服务，用于扩展 ML 推理容器。MLflow 通过易于使用的命令简化了部署过程，无需编写容器定义。
MLflow 与 Azure ML 无缝集成。您可以将 MLflow 模型部署到 Azure ML 托管的在线/批量端点，或者部署到 Azure 容器实例 (ACI) / Azure Kubernetes 服务 (AKS)。
Databricks 模型服务提供一项完全托管的服务，用于大规模服务 MLflow 模型，并具有性能优化和监控功能等额外优势。
MLflow 部署与 Kubernetes 原生 ML 服务框架集成，例如 Seldon Core 和 KServe（以前称为 KFServing）。
MLflow 还通过社区支持的插件支持更多部署目标，例如 Ray Serve、Redis AI、Torch Serve、Oracle 云基础设施 (OCI)。
API 参考
命令行界面
部署相关命令主要分为两个模块：
- mlflow models - 通常用于本地部署。
- mlflow deployments - 通常用于部署到自定义目标。
请注意，这些类别并非严格分离，可能存在重叠。此外，某些目标需要自定义模块或插件，例如，mlflow sagemaker 用于 Amazon SageMaker 部署，而 Azure ML 则需要 azureml-mlflow 库。
因此，建议您查阅所选目标的具体文档，以确定相应的命令。
Python API
MLflow 部署中几乎所有功能都可以通过 Python API 访问。有关更多详细信息，请参阅以下 API 参考：
常见问题
如果在模型部署过程中遇到任何依赖项问题，请参阅模型依赖项常见问题，以获取故障排除和验证修复的指导。