使用 MLflow 和子运行进行超参数调优 - Notebook
如果您想完整查看本指南中的 Notebook,您可以选择在下方查看或下载每个 Notebook。
主 Notebook - 使用 MLflow 中的子运行进行超参数调优
本指南的主 Notebook 提供了一个端到端的工作示例,演示了如何使用 MLflow 进行超参数调优。我们引入了子运行的概念,作为在执行此基本且非常常见的 MLOps 任务时组织和整理 Experiment 运行的一种方式。
您将学到什么
- 运行嵌套,将超参数调优的迭代与基于事件的父运行关联起来。
- 绘图日志记录,用于捕获和记录与超参数调优过程相关的关键信息。
- 使用 Optuna 和 MLflow,以便您熟悉一个强大且先进的调优优化工具。
- 记录试验,以确保迭代调优事件可以从先前的测试中受益,从而减少搜索空间,更快地获得更好的结果。
- 使用我们保存的最佳模型进行批量推理。
辅助 Notebook - 父子运行关系
本 Notebook 探讨了 MLflow 中父运行和子运行的优势和用法。我们将比较在不使用子运行的情况下进行一系列训练事件和在使用子运行的情况下进行训练事件的效果,从而展示嵌套运行的好处。
在本 Notebook 的末尾有一个挑战,鼓励您深入探索运行中父子之间的交互,以进一步利用大型运行集的层次化结构的优势。
我们鼓励您尝试一下!
查看 Notebook辅助 Notebook - 在 MLflow 中记录绘图
本 Notebook 展示了与机器学习生命周期相关的关键绘图的记录最佳实践。从数据调查和报告绘图到模型评估绘图,我们深入探讨了 MLflow 对记录绘图的原生支持,这些绘图对于确保您的建模活动的溯源和可观测性至关重要。
在本 Notebook 的末尾有一个挑战,鼓励您学习批量记录绘图目录。我们强烈建议您尝试此挑战,并更深入地了解如何将相关的绘图和图形组织到您记录的 MLflow 运行中,以确保审阅者能够更轻松地进行审计和导航。
在您的环境中运行 Notebook
此外,如果您想在本地下载副本并在自己的环境中运行,可以通过点击本指南中每个 Notebook 的相应链接进行下载。
要运行 Notebook,请确保您已启动本地 MLflow Tracking Server,或者修改 mlflow.set_tracking_uri() 值指向正在运行的 MLflow Tracking Server 实例。要与 MLflow UI 进行交互,请确保您正在本地运行 UI 服务器,或者有一个配置好的已部署的 MLflow UI 服务器可供您访问。