使用本地数据库跟踪实验
在本教程中,您将学习如何使用本地数据库通过 MLflow 跟踪您的实验元数据。
默认情况下,MLflow 跟踪会将运行数据记录(写入)到本地文件,这可能会因为零散的小文件和缺乏简单的访问接口而造成一些困扰。此外,如果您使用 Python,可以使用运行在本地文件系统上的 SQLite(例如 mlruns.db)以及内置的 sqlite3 客户端,无需安装任何额外的依赖项和设置数据库服务器。
步骤 1. 获取 MLflow
MLflow 可在 PyPI 上找到。如果您尚未在本地机器上安装它,可以使用以下命令安装:
pip install mlflow
步骤 2. 配置 MLflow 以记录到 SQLite 数据库
要将 MLflow 指向您的本地 SQLite 数据库,您需要设置环境变量 MLFLOW_TRACKING_URI(例如,sqlite:///mlruns.db)。这将会在当前目录中创建一个 SQLite 数据库文件(mlruns.db)。如果您想将数据库文件存储在其他位置,可以指定一个不同的路径。
export MLFLOW_TRACKING_URI=sqlite:///mlruns.db
如果您在使用笔记本电脑,请运行以下单元格:
%env MLFLOW_TRACKING_URI=sqlite:///mlruns.db
注意
对于使用 SQLite 数据库,MLflow 会在不存在时自动创建一个新数据库。如果您想使用不同的数据库,则需要先创建数据库。
步骤 3. 开始记录
现在您已准备好开始记录您的实验运行。例如,以下代码在 diabetes 数据集上为 scikit-learn RandomForest 模型运行训练:
import mlflow
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_diabetes
from sklearn.ensemble import RandomForestRegressor
mlflow.sklearn.autolog()
db = load_diabetes()
X_train, X_test, y_train, y_test = train_test_split(db.data, db.target)
# Create and train models.
rf = RandomForestRegressor(n_estimators=100, max_depth=6, max_features=3)
rf.fit(X_train, y_train)
# Use the model to make predictions on the test dataset.
predictions = rf.predict(X_test)
步骤 4. 在跟踪 UI 中查看您的记录运行
您的训练作业完成后,您可以运行以下命令启动 MLflow UI(您必须使用 --backend-store-uri 选项指定 SQLite 数据库文件的路径):
mlflow ui --port 8080 --backend-store-uri sqlite:///mlruns.db
然后,在浏览器中导航到 https://:8080 以查看结果。
下一步是什么?
您现在已学会如何将 MLflow 跟踪与远程存储和数据库连接。
还有一些更高级的主题您可以进一步探索:
- 远程环境设置以进行团队开发:虽然将运行和实验数据存储在本地机器上对于个人开发来说完全没问题,但在使用 MLflow 跟踪设置团队协作环境时,您应该考虑使用 MLflow 跟踪服务器。阅读 使用 MLflow 跟踪服务器进行远程实验跟踪 教程以了解更多信息。