跳到主要内容

使用免费托管 MLflow 简化您的 MLflow 项目

·7分钟阅读
Abe Omorogbe
Abe Omorogbe
Databricks 机器学习产品经理

如果您是 MLflow 新手，并希望从完全托管且完全免费的 MLflow 部署开始，本博客将向您展示如何在几分钟内开始使用 MLflow。

简化您的机器学习项目：免费开始使用托管 MLflow​

探索大数据和机器学习的世界，使用 Databricks 社区版 (CE)，它是 Databricks 平台的免费、受限1版本。该版本非常适合初学者以及 Databricks 和 MLflow 新手，通过提供托管环境来简化学习过程。它消除了手动设置跟踪服务器的复杂性。Databricks CE 包含托管 MLflow，可实现 MLflow 实验的高效管理和可视化。这使其成为在用户友好的界面中开发机器学习项目的首选，让您可以从您喜欢的 IDE、笔记本环境或 Databricks CE 的笔记本中进行连接。

使用 Databricks CE 进行 MLflow 的优势​

MLflow 是一个与任何平台兼容的开源框架，但与在其他平台上使用相比，它在 Databricks（包括社区版 CE）上使用时具有独特的优势。这些优势包括：

  1. 经济高效：MLflow 在 Databricks CE 上免费提供，非常适合教育目的和小型项目。

  2. 简单的设置：随时随地访问完全托管的跟踪服务器和用户界面。要连接到 Databricks CE，只需执行 mlflow.login()。

  3. 轻松共享：在 Databricks 生态系统中，共享您的笔记本电脑非常简单且无忧。

  4. 无缝集成：Databricks CE 允许直接存储和可视化 MLflow 实验、运行和模型。

  5. 可扩展性：MLflow 在 Databricks CE 上提供了一条轻松扩展项目的途径。它还与 Databricks 平台上提供的各种数据工具无缝集成。

场景​

在本博客中，我们将介绍如何在本地设备上运行 ML 实验，并在 托管在 Databricks CE 上的 MLflow 跟踪服务器上进行跟踪。

为了让您了解运行 MLflow 的可用选项，下图显示了常见设置配置的可能性。

Remote Tracking Server

在本博客中，我们将展示 #3，即使用远程（完全托管）跟踪服务器。

分步指南​

1. 创建 Databricks CE 帐户​

如果您还没有，您可以 注册一个免费帐户。该过程很快，通常只需 3 分钟。

填写注册表单并选择“开始使用社区版”。

Databricks CE Signup Page

注册后，您将获得有关如何设置密码的信息，您可以使用该密码登录 CE2。

2. 安装依赖项​

开始之前，请确保您已安装必要的程序包。从您的设备上的首选 IDE 或笔记本电脑运行以下命令：

%pip install -q mlflow databricks-sdk

3. 设置 Databricks CE 身份验证​

Databricks 社区版 (CE) 的主要优势在于其便利性：它提供 MLflow 跟踪服务器，无需 本地基础设施设置。创建 CE 帐户后，您可以通过 mlflow.login() 函数轻松访问此服务器，从而简化了 MLflow 实验跟踪的过程。

要使用 Databricks CE 进行身份验证，请使用 mlflow.login() 函数。这将提示您输入：

  • Databricks 主机：https://community.cloud.databricks.com/

  • 用户名：您的 Databricks CE 电子邮件地址。

  • 密码：您的 Databricks CE 密码。

成功验证后，您将看到一条确认消息。

import mlflow

mlflow.login()

# Follow the prompts for authentication

4. 连接到托管 MLflow 并使用 Databricks CE 跟踪实验​

从本地机器登录后，使用 mlflow.set_experiment() 启动实验并记录一些指标。例如：

mlflow.set_experiment("/Users/\<email>/check-databricks-ce-connection")

with mlflow.start_run():

    mlflow.log_metric("foo", 1)

    mlflow.log_metric("bar", 2)

注意：Databricks 环境要求您使用目录（从根目录）设置实验

/Users/{your email address for your account}/{name of your experiment}，这与自托管 MLflow（以及在本地运行 MLFlow 时）的行为不同。

5. 在 Databricks CE 中查看您的实验​

现在，让我们导航到 Databricks CE 来查看实验结果。登录您的 Databricks CE 帐户，然后单击左上角的下拉列表以选择机器学习。最后，单击实验图标。请参见下面的屏幕截图。

导航到机器学习部分

Navigate to ML Section of Databricks CE

导航到 MLflow UI

Navigate to the MLflow UI on Databricks CE

在“Experiments”视图中，您应该能够找到实验 /Users/{your email}/check-databricks-ce-connection，类似于：

Experiment view of Databricks MLflow server

单击运行名称（在本例中为“youthful-lamb-287”，请注意，您将在 CE 控制台中看到一个不同的、随机生成的名称）将带您进入运行视图，该视图类似于以下内容：

Run view of Databricks MLflow server

在运行视图中，您将看到我们的虚拟指标 “foo” 和 “bar” 已成功记录。

6. 在 Databricks CE 中运行任何 MLflow 教程​

如果您想尝试 MLflow 网站上的教程，您可以使用 Databricks CE 来快速测试（如果您愿意，也可以修改）该教程。例如，如果您想测试 创建自定义 Pyfunc 教程：

  1. 单击 Workspace 并选择“Import notebook”（导入笔记本）

Import a Notebook

  1. 使用 URL 选项直接从 MLflow 文档网站导入笔记本。在此示例中，要导入，请将 URL 的最后一个元素从 html 替换为 ipynb。这可以应用于托管在 MLflow 网站上的任何教程或指南笔记本。

    .../notebooks/basic-pyfunc.html → .../notebooks/basic-pyfunc.ipynb3

Select the Notebook for Importing

结论​

Databricks 社区版 (CE) 提供了一个易于访问且协作的 MLflow 实验跟踪平台，具有多项优势。其设置过程轻松快捷，提供用户友好的体验。此外，它还可以免费使用，是初学者、学习者和小规模项目的理想选择。

入门​

在 Databricks 上试用笔记本

深入阅读​

脚注​

  1. Databricks 社区版不支持模型注册表和模型部署功能。 ↩

  2. Databricks CE 仅支持基本授权登录（用户名/密码）。对于更高级和安全的授权设置，只有完整的 Databricks 产品支持这些设置。 ↩

  3. 或者，您可以 下载笔记本 并通过选择 File 而不是 URL 来在 UI 中手动加载它。 ↩