命令行界面

MLflow 命令行界面 (CLI) 提供了一个简单的界面来使用 MLflow 的各种功能。您可以使用 CLI 来运行项目、启动跟踪 UI、创建和列出实验、下载运行的工件、服务 MLflow Python 函数和 scikit-learn 模型,以及在Microsoft Azure Machine LearningAmazon SageMaker 上服务模型。

每个单独的命令都有一个详细的帮助屏幕,可以通过 mlflow command_name --help 访问。

注意

建议默认设置 MLFLOW_TRACKING_URI 环境变量,因为 CLI 不会自动连接到跟踪服务器。如果不设置,CLI 将默认使用命令执行所在的本地文件系统,而不是连接到本地主机或远程 HTTP 服务器。对于以下大多数命令,都需要将 MLFLOW_TRACKING_URI 设置为所需跟踪服务器的 URL。

mlflow

用法

mlflow [OPTIONS] COMMAND [ARGS]...

选项

--version

显示版本并退出。

--env-file <env_file>

在执行命令之前从 dotenv 文件加载环境变量。文件中的变量将被加载,但不会覆盖现有环境变量。

ai-commands

管理用于 LLM 的 MLflow AI 命令。

用法

mlflow ai-commands [OPTIONS] COMMAND [ARGS]...

get

通过键获取特定 AI 命令。

用法

mlflow ai-commands get [OPTIONS] KEY

参数

KEY

必需参数

list

列出所有可用的 AI 命令。

用法

mlflow ai-commands list [OPTIONS]

选项

--namespace <namespace>

按命名空间过滤命令

run

获取一个格式化为供 AI 助手执行的命令。

用法

mlflow ai-commands run [OPTIONS] KEY

参数

KEY

必需参数

artifacts

从 MLflow 工件存储库上传、列出和下载工件。

要管理与跟踪服务器关联的运行的工件,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow artifacts [OPTIONS] COMMAND [ARGS]...

download

将工件文件或目录下载到本地目录。输出是本地文件系统上的文件或目录的名称。

必须提供 --artifact-uri--run-id

用法

mlflow artifacts download [OPTIONS]

选项

-r, --run-id <run_id>

要下载的运行 ID

-a, --artifact-path <artifact_path>

与运行 ID 一起使用:如果指定,则为从运行的根目录下载的相对路径

-u, --artifact-uri <artifact_uri>

指向工件文件或工件目录的 URI;用作指定 –run_id 和 –artifact-path 的替代

-d, --dst-path <dst_path>

要将指定工件下载到的本地文件系统目标目录的路径。如果目录不存在,则创建它。如果未指定,工件将下载到本地文件系统上的一个新唯一命名的目录,除非工件已存在于本地文件系统中,在这种情况下,将直接返回其本地路径。

list

返回运行的根工件目录或子目录下的所有工件。输出为 JSON 格式列表。

用法

mlflow artifacts list [OPTIONS]

选项

-r, --run-id <run_id>

必需 要列出的运行 ID

-a, --artifact-path <artifact_path>

如果指定,则为要列出的运行的根目录的相对路径。

log-artifact

将本地文件作为运行的工件进行记录,可以选择在运行特定的工件路径下进行。运行工件可以组织到目录中,因此您可以通过这种方式将工件放在目录中。

用法

mlflow artifacts log-artifact [OPTIONS]

选项

-l, --local-file <local_file>

必需 要记录的工件的本地路径

-r, --run-id <run_id>

必需 要将工件记录到的运行 ID。

-a, --artifact-path <artifact_path>

如果指定,我们将把工件记录到运行的工件目录的此子目录中。

log-artifacts

将本地目录中的文件作为运行的工件进行记录,可以选择在运行特定的工件路径下进行。运行工件可以组织到目录中,因此您可以通过这种方式将工件放在目录中。

用法

mlflow artifacts log-artifacts [OPTIONS]

选项

-l, --local-dir <local_dir>

必需 要记录的本地工件的目录

-r, --run-id <run_id>

必需 要将工件记录到的运行 ID。

-a, --artifact-path <artifact_path>

如果指定,我们将把工件记录到运行的工件目录的此子目录中。

autolog

用于 MLflow 自动记录的命令。

用法

mlflow autolog [OPTIONS] COMMAND [ARGS]...

claude

在目录中设置 Claude 代码跟踪。

此命令配置 Claude 代码挂钩以自动将对话跟踪到 MLflow。设置后,使用常规的“claude”命令,跟踪将自动创建。

DIRECTORY: 要设置跟踪的目录(默认:当前目录)

示例

# 在当前目录中设置使用本地存储的跟踪 mlflow autolog claude

# 在特定项目目录中设置跟踪 mlflow autolog claude ~/my-project

# 使用 Databricks 设置跟踪 mlflow autolog claude -u databricks -e 123456789

# 使用自定义跟踪 URI 设置跟踪 mlflow autolog claude -u file://./custom-mlruns

# 在当前目录中禁用跟踪 mlflow autolog claude –disable

用法

mlflow autolog claude [OPTIONS] [DIRECTORY]

选项

-u, --tracking-uri <tracking_uri>

MLflow 跟踪 URI(例如,“databricks”或“file://mlruns”)

-e, --experiment-id <experiment_id>

MLflow 实验 ID

-n, --experiment-name <experiment_name>

MLflow 实验名称

--disable

在指定目录中禁用 Claude 跟踪

--status

显示当前跟踪状态

参数

DIRECTORY

可选参数

crypto

管理 MLflow 加密密码短语的命令。

用法

mlflow crypto [OPTIONS] COMMAND [ARGS]...

rotate-kek

轮换用于加密和解密的 KEK 密码短语。

用法

mlflow crypto rotate-kek [OPTIONS]

选项

--new-passphrase <new_passphrase>

必需 用于加密和解密敏感数据的新 KEK 密码短语。

--backend-store-uri <backend_store_uri>

后端存储的 URI。如果未指定,则使用 MLFLOW_TRACKING_URI。

-y, --yes

跳过确认提示。

环境变量

MLFLOW_BACKEND_STORE_URI

--backend-store-uri 提供默认值

db

管理 MLflow 跟踪数据库的命令。

用法

mlflow db [OPTIONS] COMMAND [ARGS]...

upgrade

将 MLflow 跟踪数据库的模式升级到支持的最新版本。

重要提示:模式迁移可能很慢,并且不保证是事务性的 - 在运行迁移之前务必备份数据库。迁移 README,位于 https://github.com/mlflow/mlflow/blob/master/mlflow/store/db_migrations/README.md,描述了大型迁移,并包含有关如何估算其性能和从故障中恢复的信息。

用法

mlflow db upgrade [OPTIONS] URL

参数

URL

必需参数

deployments

将 MLflow 模型部署到自定义目标。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

您也可以编写自己的插件来部署到自定义目标。有关编写和分发插件的说明,请参阅https://mlflow.org.cn/docs/latest/plugins.html#writing-your-own-mlflow-plugins

用法

mlflow deployments [OPTIONS] COMMAND [ARGS]...

create

model_uri 处的模型部署到指定的 target。

还可以通过 -C key=value 将额外的插件特定参数传递给此命令。

用法

mlflow deployments create [OPTIONS]

选项

--endpoint <endpoint>

端点的名称

-C, --config <NAME=VALUE>

模型部署的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--name <name>

必需 部署的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

-f, --flavor <flavor>

要部署的 flavor。如果未给出,则自动推断。

create-endpoint

在指定目标处创建具有指定名称的端点。

还可以通过 -C key=value 将额外的插件特定参数传递给此命令。

用法

mlflow deployments create-endpoint [OPTIONS]

选项

-C, --config <NAME=VALUE>

端点的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--endpoint <endpoint>

必需 端点的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

delete

从指定目标中删除具有 –name 指定名称的部署。

用法

mlflow deployments delete [OPTIONS]

选项

--endpoint <endpoint>

端点的名称

-C, --config <NAME=VALUE>

模型部署的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--name <name>

必需 部署的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

delete-endpoint

删除指定目标处的指定端点。

用法

mlflow deployments delete-endpoint [OPTIONS]

选项

--endpoint <endpoint>

必需 端点的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

explain

为指定输入生成已部署模型的模型预测的解释。解释输出格式因部署目标而异,并且可以包含特征重要性等详细信息,以便于理解/调试预测。运行 mlflow deployments help 或查阅您的插件文档以了解有关解释格式的详细信息。有关此函数接受的输入数据格式的信息,请参阅以下文档:https://www.mlflow.org/docs/latest/models.html#built-in-deployment-tools

用法

mlflow deployments explain [OPTIONS]

选项

--name <name>

部署的名称。必须指定 –name 或 –endpoint 中的一个。

--endpoint <endpoint>

端点的名称。必须指定 –name 或 –endpoint 中的一个。

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

-I, --input-path <input_path>

必需 输入预测负载文件的路径。文件可以是 JSON(Python 字典)或 CSV(pandas DataFrame)。如果文件是 CSV,用户必须指定 –content-type csv 选项。

-O, --output-path <output_path>

将结果输出到的 JSON 文件。如果未提供,则输出到 stdout。

get

打印指定目标中具有 --name 指定名称的部署的详细描述。

用法

mlflow deployments get [OPTIONS]

选项

--endpoint <endpoint>

端点的名称

--name <name>

必需 部署的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

get-endpoint

获取指定目标处指定端点的详细信息。

用法

mlflow deployments get-endpoint [OPTIONS]

选项

--endpoint <endpoint>

必需 端点的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

help

显示特定部署目标的额外帮助信息,例如关于目标特定配置选项和目标 URI 格式的信息。

用法

mlflow deployments help [OPTIONS]

选项

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

list

列出指定目标中所有模型部署的名称。这些名称可用于 deleteupdateget 命令。

用法

mlflow deployments list [OPTIONS]

选项

--endpoint <endpoint>

端点的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

list-endpoints

列出指定目标下的所有端点

用法

mlflow deployments list-endpoints [OPTIONS]

选项

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

predict

为已部署的模型预测给定输入的结果

用法

mlflow deployments predict [OPTIONS]

选项

--name <name>

部署的名称。必须指定 –name 或 –endpoint 中的一个。

--endpoint <endpoint>

端点的名称。必须指定 –name 或 –endpoint 中的一个。

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

-I, --input-path <input_path>

必需 输入预测负载文件的路径。文件可以是 JSON(Python 字典)或 CSV(pandas DataFrame)。如果文件是 CSV,用户必须指定 –content-type csv 选项。

-O, --output-path <output_path>

将结果输出到的 JSON 文件。如果未提供,则输出到 stdout。

run-local

在本地部署模型。该命令的签名与 create API 非常相似。

用法

mlflow deployments run-local [OPTIONS]

选项

-C, --config <NAME=VALUE>

模型部署的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--name <name>

必需 部署的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

-f, --flavor <flavor>

要部署的 flavor。如果未给出,则自动推断。

update

更新指定目标中 ID 为 deployment_id 的部署。您可以更新模型的 URI 和/或已部署模型的 flavor(在这种情况下,还必须指定模型 URI)。

还可以通过 -C key=value 将其他特定于插件的参数传递给此命令。

用法

mlflow deployments update [OPTIONS]

选项

--endpoint <endpoint>

端点的名称

-C, --config <NAME=VALUE>

模型部署的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--name <name>

必需 部署的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

-m, --model-uri <URI>

指向模型的 URI。可以是本地路径、‘runs:/’ URI 或远程存储 URI(例如 ‘s3://’ URI)。有关支持的模型伪 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores

-f, --flavor <flavor>

要部署的 flavor。如果未给出,则自动推断。

update-endpoint

更新指定目标中的指定端点。

还可以通过 -C key=value 将额外的插件特定参数传递给此命令。

用法

mlflow deployments update-endpoint [OPTIONS]

选项

-C, --config <NAME=VALUE>

端点的额外目标特定配置,格式为 -C name=value。有关支持的配置选项列表,请参阅您的部署目标的文档/帮助。

--endpoint <endpoint>

必需 端点的名称

-t, --target <target>

必需 部署目标 URI。运行 mlflow deployments help –target-name <target-name> 以获取有关支持的 URI 格式和给定目标的配置选项的更多详细信息。目前支持部署到:faketarget、databricks、http、https、openai、sagemaker。

https://mlflow.org.cn/docs/latest/plugins.html#community-plugins 查看所有支持的部署目标和安装说明。

doctor

打印有助于调试 MLflow 问题的信息。

用法

mlflow doctor [OPTIONS]

选项

--mask-envs

如果设置(不设置此标志的默认行为是不混淆信息),则会屏蔽输出中的 MLflow 环境变量值(例如 “MLFLOW_ENV_VAR”: “***”),以防止泄露敏感信息。

experiments

管理实验。要管理与跟踪服务器关联的实验,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow experiments [OPTIONS] COMMAND [ARGS]...

create

创建一个实验。

与此实验相关的运行生成的所有工件将存储在工件位置下,并组织在特定的 run_id 子目录中。

FileStore 为每个实验 ID 创建一个文件夹并在 meta.yaml 中存储元数据。运行存储为子文件夹。实验和元数据存储的实现取决于后端存储。

用法

mlflow experiments create [OPTIONS]

选项

-n, --experiment-name <experiment_name>

必需

-l, --artifact-location <artifact_location>

用于存储运行结果工件的基准位置。工件将存储在 $artifact_location/$run_id/artifacts。有关工件位置属性的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#where-runs-are-recorded。如果未提供位置,跟踪服务器将选择一个默认值。

csv

为实验生成包含所有运行的 CSV 文件

用法

mlflow experiments csv [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需

-o, --filename <filename>

delete

标记一个活动实验以供删除。这同样适用于实验的元数据、运行和关联数据,以及工件(如果存储在默认位置)。使用 list 命令查看工件位置。如果找不到实验或实验已被标记为删除,该命令将抛出错误。

被标记为删除的实验可以使用 restore 命令恢复,除非它们被永久删除。

删除的具体实现取决于后端存储。FileStore 将标记为删除的实验移动到实例化 FileStore 的主文件夹下的 .trash 文件夹中。标记为删除的实验可以通过清空 .trash 文件夹来永久删除。建议使用 cron 作业或备用的工作流机制来清空 .trash 文件夹。

用法

mlflow experiments delete [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需

get

通过 ID 获取实验的详细信息。

显示实验信息,包括名称、工件位置、生命周期阶段、标签、创建时间和最后更新时间。

示例
# Get experiment in table format (default)
mlflow experiments get --experiment-id 1

# Get experiment in JSON format
mlflow experiments get --experiment-id 1 --output json

# Using short option
mlflow experiments get -x 0

用法

mlflow experiments get [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需

--output <output>

输出格式:“table”(默认)或“json”。

选项

json | table

rename

重命名一个活动实验。如果实验不活跃,则返回错误。

用法

mlflow experiments rename [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需

--new-name <new_name>

必需

restore

恢复已删除的实验。这也适用于实验的元数据、运行和关联数据。如果实验已处于活动状态、找不到或已被永久删除,则命令将抛出错误。

用法

mlflow experiments restore [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需

gateway

管理 MLflow Gateway 服务

用法

mlflow gateway [OPTIONS] COMMAND [ARGS]...

start

启动 MLflow Gateway 服务

用法

mlflow gateway start [OPTIONS]

选项

--config-path <config_path>

必需 网关配置文件的路径。

--host <host>

要监听的网络地址(默认值:127.0.0.1)。

--port <port>

要监听的端口(默认值:5000)。

--workers <workers>

工作进程数量。

环境变量

MLFLOW_GATEWAY_CONFIG

--config-path 提供默认值

gc

永久删除指定后端存储中处于 deleted 生命周期阶段的运行。此命令将删除与指定运行关联的所有工件和元数据。如果提供的工件 URL 无效,将跳过工件删除,并继续进行垃圾回收过程。

注意

如果您正在运行启用了工件代理的 MLflow 跟踪服务器,则在运行此命令之前 **必须** 设置 MLFLOW_TRACKING_URI 环境变量。否则,gc 命令将无法解析工件 URI,也无法删除关联的工件。

已删除的内容

此命令将永久删除

  • 运行元数据:来自后端存储的参数、指标、标签和所有其他运行信息

  • 工件:运行工件位置中的所有文件(模型、图表、数据文件等)

  • 实验元数据:删除实验时,删除实验记录及其所有关联数据

注意

此命令仅考虑生命周期阶段和指定的删除标准。它 **不** 检查固定的运行、注册的模型或标签。固定是仅 UI 功能,对垃圾回收没有影响。运行必须处于 deleted 生命周期阶段才能被永久删除。

示例

# Delete all runs that have been in the deleted state for more than 30 days
mlflow gc --older-than 30d

# Delete specific runs by ID (they must be in deleted state)
mlflow gc --run-ids 'run1,run2,run3'

# Delete all runs in specific experiments (experiments must be in deleted state)
mlflow gc --experiment-ids 'exp1,exp2'

# Combine criteria: delete runs older than 7 days in specific experiments
mlflow gc --older-than 7d --experiment-ids 'exp1,exp2'

用法

mlflow gc [OPTIONS]

选项

--older-than <older_than>

可选。移除早于指定时间限制的运行。指定格式为 #d#h#m#s 的字符串。也支持浮点值。例如:–older-than 1d2h3m4s,–older-than 1.2d3h4m5s

--backend-store-uri <PATH>

从中删除运行的后端存储的 URI。可接受的 URI 是 SQLAlchemy 兼容的数据库连接字符串(例如 ‘sqlite:///path/to/file.db’)或本地文件系统 URI(例如 ‘file:///absolute/path/to/directory’)。默认情况下,数据将从 ./mlruns 目录中删除。

--artifacts-destination <URI>

用于解析工件上传/下载/列表请求的基本工件位置(例如 ‘s3://my-bucket’)。仅当跟踪服务器配置为流式传输工件且实验的工件根位置是 http 或 mlflow-artifacts URI 时,此选项才适用。否则,将使用默认的工件位置。

--run-ids <run_ids>

可选的逗号分隔的运行 ID 列表,将永久删除。如果未指定运行 ID,则将删除处于 deleted 生命周期阶段的所有运行的数据。

--experiment-ids <experiment_ids>

可选的逗号分隔的实验 ID 列表,将永久删除,包括其所有关联的运行。如果未指定实验 ID,则将删除处于 deleted 生命周期阶段的所有实验的数据。

--logged-model-ids <logged_model_ids>

可选的逗号分隔的已记录模型 ID 列表,将永久删除。如果未指定已记录模型 ID,则将删除处于 deleted 生命周期阶段的所有已记录模型的数据。

--tracking-uri <tracking_uri>

用于删除“已删除”运行的跟踪 URI,例如 http://127.0.0.1:8080

环境变量

MLFLOW_ARTIFACTS_DESTINATION

--artifacts-destination 提供默认值

mcp

MLflow 的模型上下文协议 (MCP) 服务器。MCP 使 LLM 应用程序能够以编程方式与 MLflow 跟踪进行交互。

用法

mlflow mcp [OPTIONS] COMMAND [ARGS]...

run

运行 MLflow MCP 服务器。这将启动一个服务器,该服务器将 MLflow 跟踪操作暴露给 MCP 兼容的客户端,如 Claude Desktop 或其他 AI 助手。

用法

mlflow mcp run [OPTIONS]

models

在本地部署 MLflow 模型。

要部署与跟踪服务器上的运行相关联的模型,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow models [OPTIONS] COMMAND [ARGS]...

build-docker

构建一个 Docker 镜像,该镜像的默认入口点将在端口 8080 上提供 MLflow 模型,使用 python_function flavor。容器提供在调用 build-docker 时通过 --model-uri 引用的模型。如果在调用 build_docker 时未指定 --model-uri,则必须将 MLflow 模型目录作为卷挂载到容器中的 /opt/ml/model 目录。

使用 --model-uri 构建 Docker 镜像

# Build a Docker image named 'my-image-name' that serves the model from run 'some-run-uuid'
# at run-relative artifact path 'my-model'
mlflow models build-docker --model-uri "runs:/some-run-uuid/my-model" --name "my-image-name"
# Serve the model
docker run -p 5001:8080 "my-image-name"

不带 --model-uri 构建 Docker 镜像

# Build a generic Docker image named 'my-image-name'
mlflow models build-docker --name "my-image-name"
# Mount the model stored in '/local/path/to/artifacts/model' and serve it
docker run --rm -p 5001:8080 -v /local/path/to/artifacts/model:/opt/ml/model "my-image-name"

重要提示

自 MLflow 2.10.1 起,使用 --model-uri 构建的 Docker 镜像 **不安装 Java** 以提高性能,除非模型 flavor 是 ["johnsnowlabs", "h2o", "spark"] 之一。如果您需要为其他 flavor 安装 Java,例如使用 SparkML 的自定义 Python 模型,请指定 --install-java 标志以强制安装 Java。

注意:默认情况下,容器将启动 nginx 和 uvicorn 进程。如果您不需要启动 nginx 进程(例如,如果您将容器部署到 Google Cloud Run),可以通过 DISABLE_NGINX 环境变量禁用它。

docker run -p 5001:8080 -e DISABLE_NGINX=true "my-image-name"

默认情况下,uvicorn 工作进程的数量设置为 CPU 计数。如果您想设置自定义的工作进程数量,可以设置 MLFLOW_MODELS_WORKERS 环境变量。

docker run -p 5001:8080 -e MLFLOW_MODELS_WORKERS=4 "my-image-name"

有关“python_function”flavor 的更多信息,请参阅 https://www.mlflow.org/docs/latest/python_api/mlflow.pyfunc.html 。

用法

mlflow models build-docker [OPTIONS]

选项

-m, --model-uri <URI>

[可选] 指向模型的 URI。可以是本地路径、‘runs:/’ URI 或远程存储 URI(例如 ‘s3://’ URI)。有关支持的模型伪 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores

-n, --name <name>

用于已构建镜像的名称

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 virtualenv。

--mlflow-home <PATH>

MLflow 项目本地克隆的路径。仅用于开发。

--install-java <install_java>

如果需要,在镜像中安装 Java。默认值为 None,允许 MLflow 确定安装。需要 Java 的模型(例如 Spark)会自动启用此选项。注意:此选项仅适用于 UBUNTU 基础镜像;Python 基础镜像不支持 Java 安装。

--install-mlflow

如果指定并且存在要激活的 conda、virtualenv 或 uv 环境,则在激活后将 MLflow 安装到该环境中。安装的 MLflow 版本将与调用此命令的版本相同。

--enable-mlserver

通过 v2 推理协议启用 MLServer 进行服务。您可以使用环境变量配置 MLServer。(请参阅 https://mlserver.readthedocs.io/en/latest/reference/settings.html

generate-dockerfile

生成一个包含 Dockerfile 的目录,该目录的默认入口点使用 python_function 模型在端口 8080 上服务 MLflow 模型。生成的 Dockerfile 将与模型(如果指定)一起写入指定的输出目录。此 Dockerfile 定义的镜像等同于由 `mlflow models build-docker 生成的镜像。

用法

mlflow models generate-dockerfile [OPTIONS]

选项

-m, --model-uri <URI>

[可选] 指向模型的 URI。可以是本地路径、‘runs:/’ URI 或远程存储 URI(例如 ‘s3://’ URI)。有关支持的模型伪 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores

-d, --output-directory <output_directory>

存储生成的 Dockerfile 的输出目录。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 None,然后 MLflow 将根据模型的模型配置自动选择环境管理器。如果指定了 model-uri:如果模型配置中指定了 python 版本且不需要 java 安装,则使用本地环境。否则,使用 virtualenv。如果未提供 model-uri,则使用 virtualenv。

--mlflow-home <PATH>

MLflow 项目本地克隆的路径。仅用于开发。

--install-java <install_java>

如果需要,在镜像中安装 Java。默认值为 None,允许 MLflow 确定安装。需要 Java 的模型(例如 Spark)会自动启用此选项。注意:此选项仅适用于 UBUNTU 基础镜像;Python 基础镜像不支持 Java 安装。

--install-mlflow

如果指定并且存在要激活的 conda、virtualenv 或 uv 环境,则在激活后将 MLflow 安装到该环境中。安装的 MLflow 版本将与调用此命令的版本相同。

--enable-mlserver

通过 v2 推理协议启用 MLServer 进行服务。您可以使用环境变量配置 MLServer。(请参阅 https://mlserver.readthedocs.io/en/latest/reference/settings.html

predict

使用保存的 MLflow 模型生成 JSON 格式的预测。有关此函数接受的输入数据格式的信息,请参阅以下文档:https://www.mlflow.org/docs/latest/models.html#built-in-deployment-tools

用法

mlflow models predict [OPTIONS]

选项

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

-i, --input-path <input_path>

包含要预测的 pandas DataFrame 的 CSV 文件。

-o, --output-path <output_path>

将结果输出到的文件(JSON 格式)。如果未提供,则输出到 stdout。

-t, --content-type <content_type>

输入文件的内容类型。可以是 {‘json’, ‘csv’} 之一。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 virtualenv。

--install-mlflow

如果指定并且存在要激活的 conda、virtualenv 或 uv 环境,则在激活后将 MLflow 安装到该环境中。安装的 MLflow 版本将与调用此命令的版本相同。

-r, --pip-requirements-override <pip_requirements_override>

指定用于覆盖模型中定义的依赖项的包和版本。必须是以逗号分隔的字符串,例如 x==y,z==a。

--env <env>

运行模型时要设置的额外环境变量。必须是键值对,例如 –env key=value

prepare-env

执行预测或服务模型所需的任何准备工作,例如下载依赖项或初始化 conda 环境。准备完成后,调用 predict 或 serve 应该会很快。

用法

mlflow models prepare-env [OPTIONS]

选项

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 virtualenv。

--install-mlflow

如果指定并且存在要激活的 conda、virtualenv 或 uv 环境,则在激活后将 MLflow 安装到该环境中。安装的 MLflow 版本将与调用此命令的版本相同。

serve

通过启动指定主机和端口上的 Web 服务器来服务使用 MLflow 保存的模型。该命令支持具有 `python_function` 或 `crate`(R 函数)模型的模型。有关 Web 服务器接受的输入数据格式的信息,请参阅以下文档:https://www.mlflow.org/docs/latest/models.html#built-in-deployment-tools

警告

使用 MLflow 1.x 构建的模型在具有 MLflow 2.x 的环境中执行时,需要调整端点请求有效负载。在 1.x 中,请求有效负载的格式为:`{'columns': [str], 'data': [[...]]}。2.x 模型需要由 `dataframe_split`、`instances`、`inputs` 或 `dataframe_records` 的结构定义键定义的有效负载。请参阅下面的示例,了解 2.0 中调用 API 端点的更改。

注意

使用 pandas DataFrame 结构进行的请求可以是“split”或“records”定向格式。有关将 pandas DataFrame 转换为 JSON 的定向格式的详细信息,请参阅 https://pandas.ac.cn/docs/reference/api/pandas.DataFrame.to_json.html

示例

$ mlflow models serve -m runs:/my-run-id/model-path &

# records orientation input format for serializing a pandas DataFrame
$ curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "dataframe_records": [{"a":1, "b":2}, {"a":3, "b":4}, {"a":5, "b":6}]
}'

# split orientation input format for serializing a pandas DataFrame
$ curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "dataframe_split": {"columns": ["a", "b"],
                        "index": [0, 1, 2],
                        "data": [[1, 2], [3, 4], [5, 6]]}
}'

# inputs format for List submission of array, tensor, or DataFrame data
$ curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "inputs": [[1, 2], [3, 4], [5, 6]]
}'

# instances format for submission of Tensor data
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
    "instances": [
        {"a": "t1", "b": [1, 2, 3]},
        {"a": "t2", "b": [4, 5, 6]},
        {"a": "t3", "b": [7, 8, 9]}
    ]
}'

用法

mlflow models serve [OPTIONS]

选项

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

-p, --port <port>

要监听的端口(默认值:5000)。

-h, --host <HOST>

用于绑定服务器的网络接口(默认值:127.0.0.1)。这控制哪些网络接口接受连接。使用 '127.0.0.1' 进行本地访问,或使用 '0.0.0.0' 允许来自任何网络的连接。注意:这不是安全设置 - 它仅控制网络绑定。要限制哪些客户端可以连接,请使用 --allowed-hosts。

-t, --timeout <timeout>

服务请求的超时时间(秒)(默认值:60)。

-w, --workers <workers>

服务 MLflow 模型时处理请求的 uvicorn 工作进程数(默认值:1)。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 virtualenv。

--no-conda

如果指定,则使用本地环境。

--install-mlflow

如果指定并且存在要激活的 conda、virtualenv 或 uv 环境,则在激活后将 MLflow 安装到该环境中。安装的 MLflow 版本将与调用此命令的版本相同。

--enable-mlserver

通过 v2 推理协议启用 MLServer 进行服务。您可以使用环境变量配置 MLServer。(请参阅 https://mlserver.readthedocs.io/en/latest/reference/settings.html

环境变量

MLFLOW_PORT

--port 提供默认值

MLFLOW_HOST

--host 提供默认值

MLFLOW_SCORING_SERVER_REQUEST_TIMEOUT

--timeout 提供默认值

MLFLOW_MODELS_WORKERS

--workers 提供默认值

update-pip-requirements

添加或删除模型 conda.yaml 和 requirements.txt 文件中的要求。如果使用远程跟踪服务器,请确保将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

REQUIREMENT_STRINGS 是 pip 要求说明符的列表。有关示例,请参阅下文。

示例用法

# Add requirements using the model's "runs:/" URI

mlflow models update-pip-requirements -m runs:/<run_id>/<model_path> \
    add "pandas==1.0.0" "scikit-learn" "mlflow >= 2.8, != 2.9.0"

# Remove requirements from a local model

mlflow models update-pip-requirements -m /path/to/local/model \
    remove "torchvision" "pydantic"

注意,模型注册表 URI(即格式为 `models:/` 的 URI)不受支持,因为模型注册表中的工件旨在只读。也不支持编辑只读工件存储库的要求。

如果添加要求,该函数将覆盖任何现有要求,或者将新要求追加到现有列表中。

如果删除要求,该函数将忽略任何版本说明符,并删除所有指定的包名。任何在现有文件中未找到的要求都将被忽略。

用法

mlflow models update-pip-requirements [OPTIONS] {add|remove}
                                      [REQUIREMENT_STRINGS]...

选项

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

参数

OPERATION

必需参数

REQUIREMENT_STRINGS

可选参数

run

从给定的 URI 运行 MLflow 项目。

对于本地运行,运行将阻塞直到完成。否则,项目将异步运行。

如果本地运行(默认),URI 可以是 Git 仓库 URI 或本地路径。如果运行在 Databricks 上,URI 必须是 Git 仓库。

默认情况下,Git 项目将在具有给定参数的新工作目录中运行,而本地项目将从项目的根目录运行。

用法

mlflow run [OPTIONS] URI

选项

-e, --entry-point <NAME>

项目内的入口点。[默认值: main]。如果找不到入口点,则尝试使用指定的名称作为脚本运行项目文件,使用 'python' 运行 .py 文件,并使用默认 shell(由环境变量 $SHELL 指定)运行 .sh 文件。

-v, --version <VERSION>

要运行的项目版本,对于 Git 项目是 Git 提交引用。

-P, --param-list <NAME=VALUE>

运行的参数,格式为 -P name=value。未包含在入口点参数列表中的提供的参数将作为命令行参数传递给相应的入口点,格式为 `–name value`。

-A, --docker-args <NAME=VALUE>

`docker run` 参数或标志,格式为 -A name=value(例如 -A gpus=all)或 -A name(例如 -A t)。该参数将作为 `docker run –name value` 或 `docker run –name` 分别传递。

--experiment-name <experiment_name>

启动运行所在的实验名称。如果未指定,将使用 'experiment-id' 选项来启动运行。

--experiment-id <experiment_id>

启动运行所在的实验 ID。

-b, --backend <BACKEND>

用于运行的执行后端。支持的值:‘local’、‘databricks’、kubernetes(实验性)。默认为 ‘local’。如果针对 Databricks 运行,将针对如下确定的 Databricks 工作区运行:如果设置了格式为 'databricks://profile' 的 Databricks 跟踪 URI(例如,通过设置 MLFLOW_TRACKING_URI 环境变量),将针对 <profile> 指定的工作区运行。否则,将针对默认 Databricks CLI 配置文件指定的工作区运行。有关配置 Databricks CLI 配置文件的更多信息,请参阅 https://github.com/databricks/databricks-cli。

-c, --backend-config <FILE>

指向 JSON 文件(必须以 '.json' 结尾)或将作为配置传递给后端的 JSON 字符串。实际应提供的内容因执行后端而异,并且在 https://www.mlflow.org/docs/latest/projects.html 中有记录。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLproject 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则根据项目配置自动选择合适的环境管理器。例如,如果 MLproject.yaml 包含 python_env 键,则使用 virtualenv。

--storage-dir <storage_dir>

仅当 backend 为 local 时有效。MLflow 将参数类型为 'path' 的参数从分布式 URI 下载到 storage_dir 的子目录中。

--run-id <RUN_ID>

如果指定,将使用给定的 run ID 而不是创建新的 run。注意:此参数由 MLflow 项目 API 内部使用,不应指定。

--run-name <RUN_NAME>

为与项目执行相关的 MLflow Run 指定的名称。如果未指定,MLflow Run 名称将保持未设置。

--build-image

仅适用于 Docker 项目。如果指定,则构建一个基于 MLproject 文件中 `image` 字段的新 Docker 镜像,并包含项目目录中的文件。

默认值

False

参数

URI

必需参数

环境变量

MLFLOW_EXPERIMENT_NAME

--experiment-name 提供默认值

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

MLFLOW_TMP_DIR

--storage-dir 提供默认值

runs

管理 runs。要管理与跟踪服务器关联的实验的 runs,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow runs [OPTIONS] COMMAND [ARGS]...

create

创建一个新的 MLflow run 并立即以指定的状态结束。

此命令对于以编程方式创建 run 以进行测试、脚本编写或记录已完成的实验非常有用。run 将被创建并立即以指定的状态(FINISHED、FAILED 或 KILLED)关闭。

用法

mlflow runs create [OPTIONS]

选项

--experiment-id <experiment_id>

创建 run 所在的实验 ID。必须指定此项或 --experiment-name。

--experiment-name <experiment_name>

创建 run 所在的实验名称。必须指定此项或 --experiment-id。

--run-name <run_name>

为 run 指定的可读名称(例如,“baseline-model-v1”)。

--description <description>

此 run 代表什么的较长描述(可选)。

-t, --tags <tags>

用于分类和过滤 runs 的键值对。使用多次可设置多个标签。格式:key=value(例如,env=prod, model=xgboost, version=1.0)。

--status <status>

run 的最终状态。选项:FINISHED(默认)、FAILED 或 KILLED。

选项

FINISHED | FAILED | KILLED

--parent-run-id <parent_run_id>

用于创建嵌套 run 的父 run 的可选 ID。

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

MLFLOW_EXPERIMENT_NAME

--experiment-name 提供默认值

delete

标记一个 run 以供删除。如果 run 不存在或已被标记,则返回错误。您可以使用 `restore_run` 恢复已标记的 run,或在后端存储中永久删除 run。

用法

mlflow runs delete [OPTIONS]

选项

--run-id <run_id>

必需

describe

所有运行的详细信息将以 JSON 格式打印到标准输出。

用法

mlflow runs describe [OPTIONS]

选项

--run-id <run_id>

必需

list

列出已配置的跟踪服务器中指定实验的所有运行。

用法

mlflow runs list [OPTIONS]

选项

--experiment-id <experiment_id>

必需 指定要列出运行的实验 ID。

-v, --view <view>

为实验列表选择视图类型。有效的视图类型为“active_only”(默认)、“deleted_only”和“all”。

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

restore

恢复已删除的运行。如果运行处于活动状态或已被永久删除,则会返回错误。

用法

mlflow runs restore [OPTIONS]

选项

--run-id <run_id>

必需

sagemaker

在 SageMaker 上部署模型。

要部署与跟踪服务器关联的模型,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow sagemaker [OPTIONS] COMMAND [ARGS]...

build-and-push-container

构建新的 MLflow SageMaker 镜像,为其分配名称,并推送到 ECR。

此函数构建一个 MLflow Docker 镜像。该镜像将在本地构建,并且需要 Docker 才能运行。该镜像将推送到当前活动的 AWS 账户和当前活动的 AWS 区域下的 ECR。

用法

mlflow sagemaker build-and-push-container [OPTIONS]

选项

--build, --no-build

如果设置为 true,则构建容器。

--push, --no-push

如果设置为 true,则将容器推送到 AWS ECR。

-c, --container <container>

镜像名称

--install-java <install_java>

如果需要,在镜像中安装 Java。默认值为 None,允许 MLflow 确定安装。需要 Java 的模型(例如 Spark)会自动启用此选项。注意:此选项仅适用于 UBUNTU 基础镜像;Python 基础镜像不支持 Java 安装。

--env-manager <env_manager>

如果指定,则使用指定的环境管理器为 MLmodel 创建环境。支持以下值:

- local:使用本地环境
- virtualenv:使用 virtualenv(以及 pyenv 用于 Python 版本管理)
- uv:使用 uv
- conda:使用 conda

如果未指定,则默认为 virtualenv。

--mlflow-home <PATH>

MLflow 项目本地克隆的路径。仅用于开发。

deploy-transform-job

将模型部署到 SageMaker 作为批量转换作业。当前活动的 AWS 账户需要设置正确的权限。

默认情况下,除非指定了 --async 标志,否则此命令将阻塞,直到批量转换作业完成(明确成功或失败)或指定的超时时间过去。

用法

mlflow sagemaker deploy-transform-job [OPTIONS]

选项

-n, --job-name <job_name>

必需 转换作业名称

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

--input-data-type <input_data_type>

必需 转换作业的输入数据类型

-u, --input-uri <input_uri>

必需 输入数据的 S3 键名前缀或清单

--content-type <content_type>

必需 数据的多用途互联网邮件扩展 (MIME) 类型

-o, --output-path <output_path>

必需 用于存储 SageMaker 转换作业输出结果的 S3 路径

--compression-type <compression_type>

转换数据的压缩类型

-s, --split-type <split_type>

将转换作业的数据文件拆分成更小批次的方法

-a, --accept <accept>

输出数据的多用途互联网邮件扩展 (MIME) 类型

--assemble-with <assemble_with>

将转换作业的结果组合成单个 S3 对象的办法

--input-filter <input_filter>

用于选择转换作业输入数据一部分的 JSONPath 表达式

--output-filter <output_filter>

用于选择转换作业输出数据一部分的 JSONPath 表达式

-j, --join-resource <join_resource>

与转换数据连接的数据源

-e, --execution-role-arn <execution_role_arn>

SageMaker 执行角色

-b, --bucket <bucket>

存储模型工件的 S3 存储桶

-i, --image-url <image_url>

Docker 镜像的 ECR URL

--region-name <region_name>

部署转换作业的 AWS 区域名称

-t, --instance-type <instance_type>

执行批量转换作业的 SageMaker ML 实例类型。支持的实例类型列表,请参阅 https://aws.amazon.com/sagemaker/pricing/instance-types/

-c, --instance-count <instance_count>

执行批量转换作业的 SageMaker ML 实例数量

-v, --vpc-config <vpc_config>

包含 JSON 格式 VPC 配置的文件的路径。创建与此应用程序关联的新 SageMaker 模型时将使用此配置。有关更多信息,请参阅 https://docs.aws.amazon.com/sagemaker/latest/dg/API_VpcConfig.html

-f, --flavor <flavor>

用于部署的 flavor 名称。必须是以下之一:[‘python_function’]。如果未指定,将从模型的可用 flavors 中自动选择一个 flavor。

--archive

如果指定,将保留批处理转换作业完成后可能变得不活动的任何 SageMaker 资源。这些资源可能包括关联的 SageMaker 模型和模型工件。否则,如果未指定 –archive,这些资源将被删除。–archive 必须与 –async 一起部署时指定。

--async

如果指定,此命令将在启动部署过程后立即返回。它不会等待部署过程完成。调用者负责通过本地 SageMaker API 或 AWS 控制台监控部署过程。

--timeout <timeout>

如果同步执行命令,则如果未获得明确结果(成功或失败),将在指定的秒数后返回部署过程。函数返回后,调用者负责通过本地 SageMaker API 或 AWS 控制台监控挂起的部署的健康状况和状态。如果使用 –async 标志异步执行命令,则会忽略此值。

push-model

将 MLflow 模型推送到 SageMaker 模型注册表。当前活动的 AWS 账户需要设置正确的权限。

用法

mlflow sagemaker push-model [OPTIONS]

选项

-n, --model-name <model_name>

必需 SageMaker 模型名称

-m, --model-uri <URI>

必需 模型 URI。本地路径、“runs:/”URI 或远程存储 URI(例如,“s3://”URI)。有关模型工件支持的远程 URI 的更多信息,请参阅 https://mlflow.org.cn/docs/latest/tracking.html#artifact-stores。

-e, --execution-role-arn <execution_role_arn>

SageMaker 执行角色

-b, --bucket <bucket>

存储模型工件的 S3 存储桶

-i, --image-url <image_url>

Docker 镜像的 ECR URL

--region-name <region_name>

将 SageMaker 模型推送到其中的 AWS 区域名称

-v, --vpc-config <vpc_config>

包含 JSON 格式 VPC 配置的文件的路径。创建新的 SageMaker 模型时将使用此配置。有关更多信息,请参阅 https://docs.aws.amazon.com/sagemaker/latest/dg/API_VpcConfig.html

-f, --flavor <flavor>

用于部署的 flavor 名称。必须是以下之一:[‘python_function’]。如果未指定,将从模型的可用 flavors 中自动选择一个 flavor。

terminate-transform-job

终止指定的 SageMaker 批量转换作业。除非指定了 --archive,否则与批量转换作业关联的所有 SageMaker 资源也将被删除。

默认情况下,除非指定了 --async 标志,否则此命令将阻塞,直到终止过程完成(明确成功或失败)或指定的超时时间过去。

用法

mlflow sagemaker terminate-transform-job [OPTIONS]

选项

-n, --job-name <job_name>

必需 转换作业名称

-r, --region-name <region_name>

部署转换作业的 AWS 区域名称

--archive

如果指定,将保留与应用程序关联的资源。这些资源可能包括未使用的 SageMaker 模型和模型工件。否则,如果未指定 –archive,这些资源将被删除。–archive 必须在与 –async 异步删除时指定。

--async

如果指定,此命令将在启动终止过程后立即返回。它不会等待终止过程完成。调用者负责通过本地 SageMaker API 或 AWS 控制台监控终止过程。

--timeout <timeout>

如果同步执行命令,则如果在指定的秒数内未获得明确结果(成功或失败),终止过程将在该秒数后返回。函数返回后,调用者负责通过本地 SageMaker API 或 AWS 控制台监控挂起的终止的健康状况和状态。如果使用 –async 标志异步执行命令,则会忽略此值。

scorers

管理评分器,包括 LLM 评分器。要管理与跟踪服务器关联的评分器,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

用法

mlflow scorers [OPTIONS] COMMAND [ARGS]...

list

列出实验的已注册评分器,或列出所有内置评分器。

示例
# List built-in scorers (table format)
mlflow scorers list --builtin
mlflow scorers list -b

# List built-in scorers (JSON format)
mlflow scorers list --builtin --output json

# List registered scorers in table format (default)
mlflow scorers list --experiment-id 123

# List registered scorers in JSON format
mlflow scorers list --experiment-id 123 --output json

# Using environment variable for experiment ID
export MLFLOW_EXPERIMENT_ID=123
mlflow scorers list

用法

mlflow scorers list [OPTIONS]

选项

-x, --experiment-id <experiment_id>

要列出评分器的实验 ID。可以通过 MLFLOW_EXPERIMENT_ID 环境变量设置。

-b, --builtin

列出内置评分器,而不是实验的已注册评分器。

--output <output>

输出格式:“table”表示格式化表格(默认),“json”表示 JSON 格式

选项

table | json

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

register-llm-judge

在指定实验中注册一个 LLM 评分器。

此命令使用自然语言指令创建一个 LLM 评分器,并将其注册在实验中以用于评估工作流。指令必须包含至少一个模板变量({{ inputs }}{{ outputs }}{{ expectations }}{{ trace }}),以定义评分器将评估的内容。

示例
# Register a basic quality judge
mlflow scorers register-llm-judge -n quality_judge \
    -i "Evaluate if {{ outputs }} answers {{ inputs }}. Return yes or no." -x 123

# Register a judge with custom model
mlflow scorers register-llm-judge -n custom_judge \
    -i "Check whether {{ outputs }} is professional and formal. Rate pass, fail, or na" \
    -m "openai:/gpt-4" -x 123

# Register a judge with description
mlflow scorers register-llm-judge -n quality_judge \
    -i "Evaluate if {{ outputs }} answers {{ inputs }}. Return yes or no." \
    -d "Evaluates response quality and relevance" -x 123

# Using environment variable
export MLFLOW_EXPERIMENT_ID=123
mlflow scorers register-llm-judge -n my_judge \
    -i "Check whether {{ outputs }} contains PII"

用法

mlflow scorers register-llm-judge [OPTIONS]

选项

-n, --name <name>

必需 评分器的名称

-i, --instructions <instructions>

必需 评估说明。必须包含至少一个模板变量:{{ inputs }}{{ outputs }}{{ expectations }}{{ trace }}。有关变量的解释,请参阅 make_judge 文档。

-m, --model <model>

用于评估的模型标识符(例如,openai:/gpt-4)。如果未提供,则使用默认模型。

-x, --experiment-id <experiment_id>

必需 要在此注册评分器的实验 ID。可以通过 MLFLOW_EXPERIMENT_ID 环境变量设置。

-d, --description <description>

评分器评估内容的描述。

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

server

运行 MLflow 跟踪服务器,并附带内置安全中间件。

服务器默认监听 https://:5000,并且只接受来自本地计算机的连接。要让服务器接受来自其他计算机的连接,您需要传递 --host 0.0.0.0 来监听所有网络接口(或特定的接口地址)。

有关 MLflow 跟踪服务器的安全配置的详细文档和指导,请参阅 https://mlflow.org.cn/docs/latest/tracking/server-security.html

用法

mlflow server [OPTIONS]

选项

--backend-store-uri <PATH>

持久化实验和运行数据的 URI。可接受的 URI 是 SQLAlchemy 兼容的数据库连接字符串(例如 ‘sqlite:///path/to/file.db’)或本地文件系统 URI(例如 ‘file:///absolute/path/to/directory’)。默认情况下,数据将记录到 ./mlruns 目录。

--registry-store-uri <URI>

持久化已注册模型的 URI。可接受的 URI 是 SQLAlchemy 兼容的数据库连接字符串(例如 ‘sqlite:///path/to/file.db’)。如果未指定,则使用 backend-store-uri

--default-artifact-root <URI>

存储新创建的实验的工件的目录。对于依赖于 SQL 的跟踪服务器后端,需要此选项才能存储工件。请注意,此标志不会影响已创建的具有 MLflow 服务器实例任何先前配置的实验。默认情况下,如果启用了 –serve-artifacts 选项,数据将记录到 mlflow-artifacts:/ uri 代理。否则,默认位置将是 ./mlruns。

--serve-artifacts, --no-serve-artifacts

通过代理直接将请求路由到指定的存储位置,从而启用对工件上传、下载和列表请求的服务。请求服务的默认位置是本地的 './mlartifacts' 目录,可以通过 '--artifacts-destination' 参数覆盖。要禁用工件服务,请指定 –no-serve-artifacts。默认值:True

--artifacts-only

如果指定,将配置 MLflow 服务器仅用于代理的工件服务。启用此模式后,MLflow 跟踪服务的功能(例如,运行创建、指标日志记录和参数日志记录)将被禁用。服务器将仅公开用于上传、下载和列出工件的端点。默认值:False

--artifacts-destination <URI>

用于解析工件上传/下载/列表请求的基本工件位置(例如 's3://my-bucket')。默认为本地的 './mlartifacts' 目录。此选项仅在跟踪服务器配置为流式传输工件且实验的工件根目录位置为 http 或 mlflow-artifacts URI 时适用。

-h, --host <HOST>

用于绑定服务器的网络接口(默认值:127.0.0.1)。这控制哪些网络接口接受连接。使用 '127.0.0.1' 进行本地访问,或使用 '0.0.0.0' 允许来自任何网络的连接。注意:这不是安全设置 - 它仅控制网络绑定。要限制哪些客户端可以连接,请使用 --allowed-hosts。

-p, --port <port>

要监听的端口(默认值:5000)。

-w, --workers <workers>

处理请求的工作进程数(默认值:4)。

--allowed-hosts <allowed_hosts>

逗号分隔的允许的 Host 头列表,以防止 DNS 重绑定攻击(默认值:localhost + 私有 IP)。DNS 重绑定允许攻击者欺骗您的浏览器访问内部服务。示例:‘mlflow.company.com,10.0.0.100:5000’。支持通配符:‘mlflow.company.com,192.168.*,app-*.internal.com’。使用 ‘*’ 允许所有主机(不推荐在生产环境中使用)。默认允许:localhost(所有端口)、私有 IP(10.*、192.168.*、172.16-31.*)。当将 MLflow 暴露到 localhost 之外时,设置此项以防止主机头攻击。

--cors-allowed-origins <cors_allowed_origins>

允许的 CORS 源的逗号分隔列表,用于防止跨站点请求攻击(默认值:任何端口上的 localhost 源)。CORS 攻击允许恶意网站使用您的凭据向您的 MLflow 服务器发起请求。示例:“https://app.company.com,https://notebook.company.com”。默认允许:https://:*(任何端口)、http://127.0.0.1:,http://[::1]:。当您有不同域上的 Web 应用程序需要访问 MLflow 时,请设置此项。使用 '*' 允许所有源(危险 - 仅用于开发!)。

--disable-security-middleware

危险:禁用所有安全中间件,包括 CORS 保护和主机验证。这将完全移除安全保护,应仅用于测试。禁用后,您的 MLflow 服务器容易受到 CORS 攻击、DNS 重新绑定和点击劫持的攻击。相反,请优先使用 –cors-allowed-origins 和 –allowed-hosts 配置特定的安全设置。

--x-frame-options <x_frame_options>

用于点击劫持防护的 X-Frame-Options 标头值。选项:“SAMEORIGIN”(默认值 - 仅允许从同一源嵌入)、“DENY”(阻止所有嵌入)、“NONE”(禁用标头 - 允许从任何地方嵌入)。如果您需要将 MLflow UI 嵌入到不同源的 iframe 中,请设置为“NONE”。

--static-prefix <static_prefix>

将添加到所有静态路径的路径的前缀。

--gunicorn-opts <gunicorn_opts>

转发给 gunicorn 进程的附加命令行选项。

--waitress-opts <waitress_opts>

waitress-serve 的附加命令行选项。

--uvicorn-opts <uvicorn_opts>

转发给 uvicorn 进程的附加命令行选项(默认使用)。

--expose-prometheus <expose_prometheus>

存储指标的目录路径。如果目录不存在,则会创建它。激活 prometheus exporter 以在 /metrics 端点公开指标。

--app-name <app_name>

用于跟踪服务器的应用程序名称。如果未指定,则使用 'mlflow.server:app'。

选项

custom_app | basic-auth

--dev

如果启用,则使用调试日志记录和自动重载运行服务器。仅应用于开发目的。不能与“–gunicorn-opts”或“–uvicorn-opts”一起使用。在 Windows 上不受支持。

默认值

False

--secrets-cache-ttl <secrets_cache_ttl>

服务器端密钥缓存的生存时间(秒)。控制解密后的密钥在内存中缓存多长时间(使用 AES-GCM-256 加密)。较低的值(10-30 秒)更安全,但会影响性能。较高的值(120-300 秒)会提高性能,但会增加暴露窗口。范围:10-300 秒。

默认值

60

--secrets-cache-max-size <secrets_cache_max_size>

服务器端密钥缓存的最大条目数。超过此数量时,将逐出最近最少使用的条目。范围:1-10000 个条目。

默认值

1000

环境变量

MLFLOW_BACKEND_STORE_URI

--backend-store-uri 提供默认值

MLFLOW_REGISTRY_STORE_URI

--registry-store-uri 提供默认值

MLFLOW_DEFAULT_ARTIFACT_ROOT

--default-artifact-root 提供默认值

MLFLOW_SERVE_ARTIFACTS

--serve-artifacts 提供默认值

MLFLOW_ARTIFACTS_ONLY

--artifacts-only 提供默认值

MLFLOW_ARTIFACTS_DESTINATION

--artifacts-destination 提供默认值

MLFLOW_HOST

--host 提供默认值

MLFLOW_PORT

--port 提供默认值

MLFLOW_WORKERS

--workers 提供默认值

MLFLOW_SERVER_ALLOWED_HOSTS

--allowed-hosts 提供默认值

MLFLOW_SERVER_CORS_ALLOWED_ORIGINS

--cors-allowed-origins 提供默认值

MLFLOW_SERVER_DISABLE_SECURITY_MIDDLEWARE

--disable-security-middleware 提供默认值

MLFLOW_SERVER_X_FRAME_OPTIONS

--x-frame-options 提供默认值

MLFLOW_STATIC_PREFIX

--static-prefix 提供默认值

MLFLOW_GUNICORN_OPTS

--gunicorn-opts 提供默认值

MLFLOW_UVICORN_OPTS

--uvicorn-opts 提供默认值

MLFLOW_EXPOSE_PROMETHEUS

--expose-prometheus 提供默认值

trace

管理 trace。要管理与跟踪服务器关联的 trace,请将 MLFLOW_TRACKING_URI 环境变量设置为所需服务器的 URL。

TRACE SCHEMA: info.trace_id # 唯一的 trace 标识符 info.experiment_id # MLflow 实验 ID info.request_time # 请求时间戳(毫秒) info.execution_duration # 总执行时间(毫秒) info.state # Trace 状态:OK、ERROR 等。 info.client_request_id # 可选的客户端提供的请求 ID info.request_preview # 截断的请求预览 info.response_preview # 截断的响应预览 info.trace_metadata.mlflow.* # MLflow 特定元数据 info.trace_metadata.* # 自定义元数据字段 info.tags.mlflow.traceName # Trace 名称标签 info.tags.<key> # 自定义标签 info.assessments.*.assessment_id # 评估标识符 info.assessments.*.feedback.name # 反馈名称 info.assessments.*.feedback.value # 反馈分数/值 info.assessments.*.feedback.rationale # 反馈解释 info.assessments.*.expectation.name # 真实标签名称 info.assessments.*.expectation.value # 预期值 info.assessments.*.source.source_type # HUMAN、LLM_JUDGE、CODE info.assessments.*.source.source_id # 源标识符 info.token_usage # Token 使用量(属性,无法通过字段搜索) data.spans.*.span_id # 单个 span ID data.spans.*.name # Span 操作名称 data.spans.*.parent_id # 父 span 关系 data.spans.*.start_time # Span 开始时间戳 data.spans.*.end_time # Span 结束时间戳 data.spans.*.status_code # Span 状态码 data.spans.*.attributes.mlflow.spanType # AGENT、TOOL、LLM 等。 data.spans.*.attributes.<key> # 自定义 span 属性 data.spans.*.events.*.name # 事件名称 data.spans.*.events.*.timestamp # 事件时间戳 data.spans.*.events.*.attributes.<key> # 事件属性

更多详情,请参阅:https://mlflow.org.cn/docs/latest/genai/tracing/concepts/trace/#traceinfo-metadata-and-context

字段选择
使用点表示法配合 –extract-fields 来选择特定字段。
示例
info.trace_id # 单个字段
info.assessments.* # 所有评估数据
info.assessments.*.feedback.value # 仅反馈分数
info.assessments.*.source.source_type # 评估来源
info.trace_metadata.mlflow.traceInputs # 原始输入
info.trace_metadata.mlflow.source.type # 源类型
info.tags.`mlflow.traceName` # Trace 名称(使用反引号处理点)
data.spans.* # 所有 span 数据
data.spans.*.name # Span 操作名称
data.spans.*.attributes.mlflow.spanType # Span 类型
data.spans.*.events.*.name # 事件名称
info.trace_id,info.state,info.execution_duration # 多个字段

用法

mlflow traces [OPTIONS] COMMAND [ARGS]...

delete

删除实验中的 trace。

可以指定 –trace-ids 或时间戳标准,但不能同时指定。

示例
# 删除特定的 trace
mlflow traces delete –experiment-id 1 –trace-ids tr-abc123,tr-def456
# 删除早于某个时间戳的 trace
mlflow traces delete –experiment-id 1 –max-timestamp-millis 1700000000000
# 删除最多 100 个旧 trace
mlflow traces delete –experiment-id 1 –max-timestamp-millis 1700000000000 –max-traces 100

用法

mlflow traces delete [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需 要搜索的实验 ID。可以通过 MLFLOW_EXPERIMENT_ID 环境变量设置。

--trace-ids <trace_ids>

要删除的 trace ID 的逗号分隔列表

--max-timestamp-millis <max_timestamp_millis>

删除早于此时间戳(自纪元以来的毫秒)的 trace

--max-traces <max_traces>

要删除的最大 trace 数量

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

delete-assessment

从 trace 中删除一个评估。

示例
mlflow traces delete-assessment –trace-id tr-abc123 –assessment-id asmt-def456

用法

mlflow traces delete-assessment [OPTIONS]

选项

--trace-id <trace_id>

必需

--assessment-id <assessment_id>

必需 要删除的评估 ID

delete-tag

从 trace 中删除一个标签。

示例
mlflow traces delete-tag –trace-id tr-abc123 –key environment

用法

mlflow traces delete-tag [OPTIONS]

选项

--trace-id <trace_id>

必需

--key <key>

必需 要删除的标签键

evaluate

使用指定的评分器评估一个或多个 trace,并显示结果。

此命令运行 MLflow 的 genai.evaluate(),对指定的 trace 应用指定的评分器,并以表格或 JSON 格式显示评估结果。

示例
# 使用内置评分器评估单个 trace
mlflow traces evaluate –trace-ids tr-abc123 –scorers Correctness,Safety
# 评估多个 trace
mlflow traces evaluate –trace-ids tr-abc123,tr-def456,tr-ghi789
–scorers RelevanceToQuery
# 使用 JSON 输出进行评估
mlflow traces evaluate –trace-ids tr-abc123
–scorers Correctness –output json
# 使用自定义注册评分器进行评估
mlflow traces evaluate –trace-ids tr-abc123,tr-def456
–scorers my_custom_scorer,Correctness
可用的内置评分器(使用 PascalCase 或 snake_case)
- Correctness / correctness:确保响应正确且准确
- Safety / safety:确保响应不包含有害/有毒内容
- RelevanceToQuery / relevance_to_query:确保响应直接针对用户输入
- Guidelines / guidelines:评估是否符合特定约束
- ExpectationsGuidelines / expectations_guidelines:逐行约束评估
- RetrievalRelevance / retrieval_relevance:测量块与输入请求的相关性
- RetrievalSufficiency / retrieval_sufficiency:评估检索到的文档是否提供
必要的信息
- RetrievalGroundedness / retrieval_groundedness:评估响应是否与
检索到的上下文一致

用法

mlflow traces evaluate [OPTIONS]

选项

-x, --experiment-id <experiment_id>

必需 要搜索的实验 ID。可以通过 MLFLOW_EXPERIMENT_ID 环境变量设置。

--trace-ids <trace_ids>

必需 要评估的 trace ID 的逗号分隔列表。

--scorers <scorers>

必需 评分器名称的逗号分隔列表。可以是内置评分器(例如,Correctness、Safety、RelevanceToQuery)或已注册的自定义评分器。

--output <output_format>

输出格式:“table”表示格式化表格(默认),“json”表示 JSON 格式

选项

table | json

环境变量

MLFLOW_EXPERIMENT_ID

--experiment-id 提供默认值

get

所有 trace 详细信息将以 JSON 格式打印到标准输出。

示例
# 获取完整的 trace
mlflow traces get –trace-id tr-1234567890abcdef
# 仅获取特定字段
mlflow traces get –trace-id tr-1234567890abcdef
–extract-fields “info.trace_id,info.assessments.*,data.spans.*.name”

用法

mlflow traces get [OPTIONS]

选项

--trace-id <trace_id>

必需

--extract-fields <extract_fields>

使用点表示法过滤和选择特定字段。示例:“info.trace_id”、“info.assessments.*”、“data.spans.*.name”。多个字段用逗号分隔。如果未指定,则返回所有 trace 数据。

--verbose

指定无效字段时,在错误消息中显示所有可用字段。

get-assessment

以 JSON 格式获取评估详细信息。

示例
mlflow traces get-assessment –trace-id tr-abc123 –assessment-id asmt-def456

用法

mlflow traces get-assessment [OPTIONS]

选项

--trace-id <trace_id>

必需

--assessment-id <assessment_id>

必需 评估 ID

log-expectation

将期望(真实标签)记录到 trace 中。

示例
# 简单的预期答案
mlflow traces log-expectation –trace-id tr-abc123
–name expected_answer –value “Paris”
# 人工注释的真实标签
mlflow traces log-expectation –trace-id tr-abc123
–name ground_truth –value “positive”
–source-type HUMAN –source-id annotator@example.com
# 具有元数据的复杂预期输出
mlflow traces log-expectation –trace-id tr-abc123
–name expected_response
–value ‘{“answer”: “42”, “confidence”: 0.95}’
–metadata ‘{“dataset”: “test_set_v1”, “difficulty”: “hard”}’

用法

mlflow traces log-expectation [OPTIONS]

选项

--trace-id <trace_id>

必需

--name <name>

必需 期望名称(例如,“expected_answer”、“ground_truth”)

--value <value>

必需 预期值(字符串或 JSON 用于复杂值)

--source-type <source_type>

期望的来源类型

选项

HUMAN | LLM_JUDGE | CODE

--source-id <source_id>

源标识符

--metadata <metadata>

附加元数据,格式为 JSON 字符串

--span-id <span_id>

将期望与特定 span ID 相关联

log-feedback

将反馈(评估分数)记录到 trace 中。

示例
# 简单的数值反馈
mlflow traces log-feedback –trace-id tr-abc123
–name relevance –value 0.9
–rationale “Highly relevant response”
# 具有来源的人工反馈
mlflow traces log-feedback –trace-id tr-abc123
–name quality –value good
–source-type HUMAN –source-id reviewer@example.com
# 具有 JSON 值和元数据的复杂反馈
mlflow traces log-feedback –trace-id tr-abc123
–name metrics
–value ‘{“accuracy”: 0.95, “f1”: 0.88}’
–metadata ‘{“model”: “gpt-4”, “temperature”: 0.7}’
# LLM 评估器反馈
mlflow traces log-feedback –trace-id tr-abc123
–name faithfulness –value 0.85
–source-type LLM_JUDGE –source-id gpt-4
–rationale “Response is faithful to context”

用法

mlflow traces log-feedback [OPTIONS]

选项

--trace-id <trace_id>

必需

--name <name>

必需 反馈名称

--value <value>

反馈值(数字、字符串、布尔值或 JSON 用于复杂值)

--source-type <source_type>

反馈的来源类型

选项

HUMAN | LLM_JUDGE | CODE

--source-id <source_id>

源标识符(例如,HUMAN 的电子邮件,LLM 的模型名称)

--rationale <rationale>

反馈的解释/理由

--metadata <metadata>

附加元数据,格式为 JSON 字符串

--span-id <span_id>

将反馈与特定 span ID 相关联

set-tag

在 trace 上设置一个标签。

示例
mlflow traces set-tag –trace-id tr-abc123 –key environment –value production

用法

mlflow traces set-tag [OPTIONS]

选项

--trace-id <trace_id>

必需

--key <key>

必需 标签键

--value <value>

必需 标签值

update-assessment

更新现有评估。

注意:评估名称一旦设置,就无法更改。只能更新值、理由和元数据。

示例
# 更新反馈值和理由
mlflow traces update-assessment –trace-id tr-abc123 –assessment-id asmt-def456
–value ‘{“accuracy”: 0.98}’ –rationale “更新于评审后”
# 仅更新理由
mlflow traces update-assessment –trace-id tr-abc123 –assessment-id asmt-def456
–rationale “修订的评估”

用法

mlflow traces update-assessment [OPTIONS]

选项

--trace-id <trace_id>

必需

--assessment-id <assessment_id>

必需 要更新的评估 ID

--value <value>

更新的评估值 (JSON)

--rationale <rationale>

更新的理由

--metadata <metadata>

更新的元数据 (JSON 格式)