跳到主要内容

5分钟跟踪服务器概述

在本指南中，我们将向您介绍如何使用不同类型的跟踪服务器配置查看 MLflow 实验结果。从高层次来看，有 3 种方式可以查看 MLflow 实验

  • [方法 1] 启动您自己的 MLflow 服务器。
  • [方法 2] 使用免费托管的跟踪服务器 - Databricks 免费试用。
  • [方法 3] 使用生产环境的 Databricks/AzureML。

要在这 3 种方法中进行选择，以下是我们的建议

  • 如果您有隐私顾虑（数据/模型/技术栈），请使用方法 1 - 启动您自己的服务器。
  • 如果您是学生或个人研究人员，或者您正在云端笔记本（例如 Google Colab）中进行开发，请使用方法 2 - 免费托管的跟踪服务器。
  • 企业用户，或者如果您想为生产用例提供或部署模型，请使用方法 3 - 生产环境的 Databricks/AzureML。

总体而言，方法 2 - 免费托管的跟踪服务器是开始使用 MLflow 的最简单方法，但请选择最适合您需求的方法。

方法 1：启动您自己的 MLflow 服务器​

免责声明：本指南的这部分不适用于在云提供的 IPython 环境（例如 Collab、Databricks）中运行。请在您的本地机器（笔记本电脑/台式机）上遵循以下指南。

托管跟踪服务器是存储和查看 MLflow 实验的最简单方法，但它不适用于所有用户。例如，您可能不想在您的云提供商帐户中向他人公开您的数据和模型。在这种情况下，您可以使用本地托管的 MLflow 服务器来存储和查看您的实验。为此，有两个步骤

启动本地 MLflow 服务器​

如果您没有安装 MLflow，请运行以下命令进行安装

$ pip install mlflow

MLflow 的安装包括 MLflow CLI 工具，因此您可以通过在终端中运行以下命令来启动带有 UI 的本地 MLflow 服务器

$ mlflow ui

它将生成带有 IP 地址的日志，例如

(mlflow) [master][~/Documents/mlflow_team/mlflow]$ mlflow ui
[2023-10-25 19:39:12 -0700] [50239] [INFO] Starting gunicorn 20.1.0
[2023-10-25 19:39:12 -0700] [50239] [INFO] Listening at: http://127.0.0.1:5000 (50239)

在浏览器中打开 MLflow 跟踪服务器的 URL 将带您进入 MLflow UI。下图是 MLflow UI 的开源版本，与 Databricks Workspaces 上的 MLflow UI 有点不同。以下是着陆页的屏幕截图

Landing page of OSS MLflow server

注意

也可以在云平台上部署您自己的 MLflow 服务器，但这超出了本指南的范围。

将 MLflow 会话连接到您的服务器​

现在服务器已经启动，让我们将 MLflow 会话连接到本地服务器。这与我们连接到远程托管跟踪提供商（如 Databricks 平台）的方式非常相似。

mlflow.set_tracking_uri("https://:5000")

接下来，让我们尝试记录一些虚拟指标。我们可以在本地托管的 UI 上查看这些测试指标

mlflow.set_experiment("check-localhost-connection")

with mlflow.start_run():
    mlflow.log_metric("foo", 1)
    mlflow.log_metric("bar", 2)

综合起来，您可以将以下代码复制到您的编辑器中，并将其保存为 log_mlflow_with_localhost.py

import mlflow

mlflow.set_tracking_uri("https://:5000")
mlflow.set_experiment("check-localhost-connection")

with mlflow.start_run():
    mlflow.log_metric("foo", 1)
    mlflow.log_metric("bar", 2)

然后通过以下方式执行它

$ python log_mlflow_with_localhost.py

在您的 MLflow 服务器上查看实验​

现在让我们在本地服务器上查看您的实验。在浏览器中打开 URL，在我们的例子中是 https://:5000。在 UI 的左侧边栏中，您应该会看到名为 "check-localhost-connection" 的实验。单击此实验名称应会将您带到实验视图，类似于下面所示。

Experiment view of OSS MLflow server

单击运行（本例中为 "clumsy-steed-426"，您的将不同）将带您进入运行视图，如下所示。

Run view of OSS MLflow server

结论​

这就是关于如何启动您自己的 MLflow 服务器并查看您的实验的所有内容。请参阅下面此方法的优缺点

  • 优点

    • 您可以完全控制您的数据和模型，这对于隐私问题很有利。
    • 无需订阅。
    • 实验/运行配额无限。
    • 您甚至可以通过 Fork MLflow 存储库并修改 UI 代码来定制您的 UI。

  • 缺点

    • 需要手动设置和维护。
    • 团队协作比使用托管跟踪服务器更困难。
    • 不适用于基于云的笔记本，例如 Google Colab。
    • 如果您将服务器部署在云 VM 上，则需要额外的端口转发。
    • 不支持模型服务。

方法 2：使用免费托管跟踪服务器（Databricks 免费试用）​

Databricks 免费试用提供了体验 Databricks 平台几乎所有功能的机会，包括托管 MLflow。您可以使用 Databricks Workspace 存储和查看您的 MLflow 实验，在免费试用期内无需付费。有关如何使用 Databricks 免费试用存储和查看您的 MLflow 实验的说明，请参阅 试用托管 MLflow。

结论​

此方法的优缺点总结如下

  • 优点

    • 轻松设置。
    • 在免费试用额度和期限内免费。
    • 有利于协作，例如，您可以轻松地与您的队友共享您的 MLflow 实验。
    • 兼容在基于云的笔记本（例如 Google Colab）上进行开发。
    • 兼容在云 VM 上进行开发。

  • 缺点

    • 有配额限制和时间限制。

方法 3：使用生产托管跟踪服务器​

如果您是企业用户并愿意将模型投入生产，您可以使用 Databricks 或 Microsoft AzureML 等生产平台。如果您使用 Databricks，MLflow 实验会将您的模型记录到 Databricks MLflow 服务器中，您可以通过几次单击注册您的模型然后提供您的模型。

使用生产环境 Databricks 的方法与使用 Databricks 免费试用相同，您只需要将主机更改为生产工作区即可。例如，https://dbc-1234567-123.cloud.databricks.com。有关 Databricks 如何为您的机器学习工作流提供支持的更多信息，请参阅此处的文档。

要使用 AzureML 作为跟踪服务器，请阅读此处的文档

结论​

这就是如何使用生产平台作为跟踪服务器的全部内容。请参阅下面此方法的优缺点

  • 优点

    • 轻松设置。
    • 有利于协作，例如，您可以轻松地与您的队友共享您的 MLflow 实验。
    • 兼容在基于云的笔记本（例如 Google Colab）上进行开发。
    • 兼容在云 VM 上进行开发。
    • 无缝的模型注册/服务支持。
    • 比 Databricks 免费试用更高的配额（按使用付费）。

  • 缺点

    • 不免费。
    • 需要管理账单帐户。