mlflow.keras

注意

自动日志记录已知的兼容包版本： 3.0.3 <= keras <= 3.13.0。在此范围之外的包版本中使用时，自动日志记录可能不会成功。

为 Keras 启用自动日志记录。

此方法配置 Keras 工作流的自动日志记录。仅支持 Keras > 3。有关较低 Keras 版本（也称为 tf-keras）的用法，请参阅 mlflow.tensorflow 模块。在更高层次上，调用此 mlflow.keras.autolog() 函数将用 MLflow 提供的自定义 fit 方法替换 keras.Model.fit 方法，该方法将在相应时间将指标/参数/信息/模型记录到 MLflow。

自动日志记录与 Keras 支持的所有后端兼容，包括 Tensorflow、PyTorch 和 JAX。

请注意，只有在使用 model.fit() 进行训练时，自动日志记录才有效。如果您正在编写自定义训练循环，则需要使用手动日志记录。

param log_every_epoch: 如果为 True，则在每个 epoch 结束时记录训练指标。
param log_every_n_steps: 如果设置了此参数，则每 n 个训练步长记录一次训练指标。log_every_n_steps 在 log_every_epoch=True 时必须为 None。
param log_models: 如果为 True，则 Keras 模型将在 model.fit() 结束时记录到 MLflow。
param log_model_signatures: 如果为 True，将自动捕获并记录模型签名。
param save_exported_model: 如果为 True，模型将保存为已导出格式（编译后的图），适用于服务和部署。如果为 False，模型将保存为 .keras 格式，其中包含模型架构和权重。
param log_datasets: 如果为 True，将数据集元数据记录到 MLflow。
param log_input_examples: 如果为 True，将记录输入示例。
param disable: 如果为 True，则禁用 Keras 自动日志记录。
param exclusive: 如果为 True，则自动记录的内容不会记录到用户创建的即时运行中。如果为 False，则自动记录的内容将记录到活动的即时运行中，该运行可能是用户创建的。disable_for_unsupported_versions：如果为 True，则禁用对不兼容的 Keras 版本的自动日志记录。
param disable_for_unsupported_versions: 如果 True，则禁用对未经此版本 MLflow 客户端测试或不兼容的 Keras 版本的自动日志记录。
param silent: 如果为 True，则在 Keras 自动日志记录期间抑制来自 MLflow 的所有事件日志和警告。如果为 True，则在 Keras 自动日志记录期间显示所有事件和警告。
param registered_model_name: 如果设置了此参数，则每次训练模型时，它都会作为具有此名称的注册模型的最新模型版本进行记录。如果不存在具有此名称的注册模型，则会创建它。
param save_model_kwargs: 传递给 keras.Model.save() 的额外 kwargs。
param extra_tags: 设置在自动日志记录创建的每个管理运行上的额外标签的字典。

示例

import keras
import mlflow
import numpy as np

mlflow.keras.autolog()

# Prepare data for a 2-class classification.
data = np.random.uniform([8, 28, 28, 3])
label = np.random.randint(2, size=8)
model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
model.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(0.001),
    metrics=[keras.metrics.SparseCategoricalAccuracy()],
)
with mlflow.start_run() as run:
    model.fit(data, label, batch_size=4, epochs=2)

用于将信息记录到 MLflow 的 Keras 3 回调。

class mlflow.keras.callback.MlflowCallback(log_every_epoch=True, log_every_n_steps=None, model_id=None)[source]

Bases: keras.src.callbacks.callback.Callback

用于将 Keras 指标/参数/模型/... 记录到 MLflow 的回调。

此回调在训练开始时记录模型元数据，并每隔一个 epoch 或每 n 个步骤（由用户定义）向 MLflow 记录训练指标。

参数

log_every_epoch – bool，默认为 True。如果为 True，则在每个 epoch 记录指标。如果为 False，则在 n 个步骤记录指标。
log_every_n_steps – int，默认为 None。如果设置，则每 n 个步骤记录一次指标。如果为 None，则在每个 epoch 记录指标。如果 log_every_epoch=True，则必须为 None。

Example

import keras
import mlflow
import numpy as np

# Prepare data for a 2-class classification.
data = np.random.uniform([8, 28, 28, 3])
label = np.random.randint(2, size=8)
model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
model.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(0.001),
    metrics=[keras.metrics.SparseCategoricalAccuracy()],
)
with mlflow.start_run() as run:
    model.fit(
        data,
        label,
        batch_size=4,
        epochs=2,
        callbacks=[mlflow.keras.MlflowCallback()],
    )

on_batch_end(batch, logs=None)[source]: 根据用户指定的频率，在每个批次结束时记录指标。

on_epoch_end(epoch, logs=None)[source]: 在每个 epoch 结束时记录指标。

on_test_end(logs=None)[source]: 在验证结束时记录验证指标。

on_train_begin(logs=None)[source]: 在训练开始时记录模型架构和优化器配置。

用于加载使用 MLflow 保存的 Keras 模型的函数。

class mlflow.keras.load.KerasModelWrapper(model, signature, save_exported_model=False)[source]

Bases: object

get_model_call_method()[source]

get_raw_model()[source]: 返回底层模型。

predict(data, **kwargs)[source]

mlflow.keras.load.load_model(model_uri, dst_path=None, custom_objects=None, load_model_kwargs=None)[source]

从 MLflow 加载 Keras 模型。

此方法从 MLflow 加载保存的 Keras 模型，并返回一个 Keras 模型实例。

参数

model_uri –
保存在 MLflow 中的 Keras 模型的 URI。例如
- /Users/me/path/to/local/model
- relative/path/to/local/model
- s3://my_bucket/path/to/model
- runs:/<mlflow_run_id>/run-relative/path/to/model
- models:/<model_name>/<model_version>
- models:/<model_name>/<stage>
For more information about supported URI schemes, see Referencing Artifacts.
dst_path – 要下载模型工件的本地文件系统路径。如果未指定，将创建一个本地输出路径。
custom_objects – keras.saving.load_model 中的 custom_objects 参数。
load_model_kwargs – 传递给 keras.saving.load_model 的额外参数。

示例

import keras
import mlflow
import numpy as np

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.log_model(model)

model_url = f"runs:/{run.info.run_id}/{model_path}"
loaded_model = mlflow.keras.load_model(model_url)

# Test the loaded model produces the same output for the same input as the model.
test_input = np.random.uniform(size=[2, 28, 28, 3])
np.testing.assert_allclose(
    keras.ops.convert_to_numpy(model(test_input)),
    loaded_model.predict(test_input),
)

返回: 一个 Keras 模型实例。

用于将 Keras 模型保存到 MLflow 的函数。

mlflow.keras.save.get_default_conda_env()[source]

返回: 由 save_model() 和 log_model() 调用生成的 MLflow 模型默认的 Conda 环境。

mlflow.keras.save.get_default_pip_requirements()[source]

返回: Keras 模块生成的 MLflow 模型默认的 pip 依赖项列表。调用 save_model() 和 log_model() 会生成一个最小包含这些依赖项的 pip 环境。

mlflow.keras.save.log_model(model, artifact_path: str | None = None, save_exported_model=False, conda_env=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, registered_model_name=None, await_registration_for=300, pip_requirements=None, extra_pip_requirements=None, save_model_kwargs=None, metadata=None, name: str | None = None, params: dict[str, typing.Any] | None = None, tags: dict[str, typing.Any] | None = None, model_type: str | None = None, step: int = 0, model_id: str | None = None)[source]

将 Keras 模型连同元数据一起记录到 MLflow。

此方法将 Keras 模型连同元数据（如模型签名和 conda 环境）一起保存到 MLflow。

参数

model – keras.Model 的实例。要保存的 Keras 模型。
artifact_path – Deprecated. Use name instead.
save_exported_model – 默认为 False。如果为 True，则以已导出模型格式保存 Keras 模型，否则以 .keras 格式保存。有关更多信息，请参阅 Keras 文档。
conda_env –
Conda 环境的字典表示形式或本地文件系统上 conda 环境 yaml 文件的路径。如果提供，这将描述模型应运行的环境。至少，它应该指定 get_default_conda_env() 中包含的依赖项。如果为 None，则会在模型中添加一个由 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出的 pip 依赖项。如果依赖项推断失败，它将回退到使用 get_default_pip_requirements。conda_env 中的 pip 依赖项将写入 pip requirements.txt 文件，完整的 conda 环境将写入 conda.yaml。以下是 conda 环境的示例字典表示形式
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "keras==x.y.z"
            ],
        },
    ],
}
```
signature –
描述模型输入和输出的 ModelSignature 类的实例。如果未指定但提供了 input_example，则会根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入的infer_signature()上调用，例如训练数据集（省略目标列），以及有效的模型输出，例如在训练数据集上进行的模型预测
```
from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # compute model predictions
signature = infer_signature(train, predictions)
```
input_example – 一个或多个有效的模型输入实例。输入示例用作要馈送给模型的数据的提示。它将被转换为 Pandas DataFrame，然后使用 Pandas 的面向拆分（split-oriented）格式序列化为 json，或者转换为 numpy 数组，其中示例将通过转换为列表来序列化为 json。字节将进行 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
registered_model_name – 默认为 None。如果设置，则在 registered_model_name 下创建一个模型版本，如果不存在具有给定名称的注册模型，则也创建一个注册模型。
await_registration_for – 默认为 mlflow.tracking._model_registry.DEFAULT_AWAIT_MAX_SLEEP_SECONDS。等待模型版本完成创建并处于 READY 状态的秒数。默认情况下，函数等待五分钟。指定 0 或 None 以跳过等待。
pip_requirements – 要么是 pip 依赖项字符串的可迭代对象（例如 ["keras", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip 依赖项文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的依赖项列表。如果依赖项推断失败，它将回退到使用 get_default_pip_requirements。依赖项和约束项都会被自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会写入模型 conda 环境 (conda.yaml) 文件的 pip 部分。
extra_pip_requirements –
要么是 pip 依赖项字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip 依赖项文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述追加到根据用户当前软件环境自动生成的默认依赖项集中的额外 pip 依赖项。依赖项和约束项都会被自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会写入模型 conda 环境 (conda.yaml) 文件的 pip 部分。
警告

以下参数不能同时指定
- conda_env
- pip_requirements
- extra_pip_requirements
此示例演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip requirements。
save_model_kwargs – 默认为 None。传递给 keras.Model.save 方法的 kwargs 字典。
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。
name – 模型名称。
params – 要与模型一起记录的参数字典。
tags – 要与模型一起记录的标签字典。
model_type – 模型的类型。
step – 记录模型输出和指标的步骤
model_id – 模型的 ID。

Example

import keras
import mlflow

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.log_model(model, name="model")

mlflow.keras.save.save_model(model, path, save_exported_model=False, conda_env=None, mlflow_model=None, signature: mlflow.models.signature.ModelSignature = None, input_example: Union[pandas.core.frame.DataFrame, numpy.ndarray, dict, list, csr_matrix, csc_matrix, str, bytes, tuple] = None, pip_requirements=None, extra_pip_requirements=None, save_model_kwargs=None, metadata=None)[source]

将 Keras 模型连同元数据一起保存到本地文件系统。

此方法将 Keras 模型连同元数据（如模型签名和 conda 环境）一起保存到本地文件系统。此方法在 mlflow.keras.log_model() 内部调用。

参数

model – keras.Model 的实例。要保存的 Keras 模型。
path – 要保存 MLflow 模型的本地路径。
save_exported_model – 如果为 True，则以已导出模型格式保存 Keras 模型，否则以 .keras 格式保存。有关更多信息，请参阅 https://keras.org.cn/guides/serialization_and_saving/。
conda_env –
Conda 环境的字典表示形式或本地文件系统上 conda 环境 yaml 文件的路径。如果提供，这将描述模型应运行的环境。至少，它应该指定 get_default_conda_env() 中包含的依赖项。如果为 None，则会在模型中添加一个由 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出的 pip 依赖项。如果依赖项推断失败，它将回退到使用 get_default_pip_requirements。conda_env 中的 pip 依赖项将写入 pip requirements.txt 文件，完整的 conda 环境将写入 conda.yaml。以下是 conda 环境的示例字典表示形式
```
{
    "name": "mlflow-env",
    "channels": ["conda-forge"],
    "dependencies": [
        "python=3.8.15",
        {
            "pip": [
                "keras==x.y.z"
            ],
        },
    ],
}
```
mlflow_model – mlflow.models.Model 的实例，默认为 None。用于添加 Keras 模型元数据的 MLflow 模型配置。如果为 None，将创建一个空白实例。
signature –
描述模型输入和输出的 ModelSignature 类的实例。如果未指定但提供了 input_example，则会根据提供的输入示例和模型自动推断签名。要在提供输入示例时禁用自动签名推断，请将 signature 设置为 False。要手动推断模型签名，请在具有有效模型输入的infer_signature()上调用，例如训练数据集（省略目标列），以及有效的模型输出，例如在训练数据集上进行的模型预测
```
from mlflow.models import infer_signature

train = df.drop_column("target_label")
predictions = ...  # compute model predictions
signature = infer_signature(train, predictions)
```
input_example – 一个或多个有效的模型输入实例。输入示例用作要馈送给模型的数据的提示。它将被转换为 Pandas DataFrame，然后使用 Pandas 的面向拆分（split-oriented）格式序列化为 json，或者转换为 numpy 数组，其中示例将通过转换为列表来序列化为 json。字节将进行 base64 编码。当 signature 参数为 None 时，输入示例用于推断模型签名。
pip_requirements – 要么是 pip 依赖项字符串的可迭代对象（例如 ["keras", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip 依赖项文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述模型应运行的环境。如果为 None，则通过 mlflow.models.infer_pip_requirements() 从当前软件环境中推断出默认的依赖项列表。如果依赖项推断失败，它将回退到使用 get_default_pip_requirements。依赖项和约束项都会被自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会写入模型 conda 环境 (conda.yaml) 文件的 pip 部分。
extra_pip_requirements –
要么是 pip 依赖项字符串的可迭代对象（例如 ["pandas", "-r requirements.txt", "-c constraints.txt"]），要么是本地文件系统上 pip 依赖项文件的字符串路径（例如 "requirements.txt"）。如果提供，这将描述追加到根据用户当前软件环境自动生成的默认依赖项集中的额外 pip 依赖项。依赖项和约束项都会被自动解析并写入 requirements.txt 和 constraints.txt 文件，并作为模型的一部分存储。依赖项也会写入模型 conda 环境 (conda.yaml) 文件的 pip 部分。
警告

以下参数不能同时指定
- conda_env
- pip_requirements
- extra_pip_requirements
此示例演示了如何使用 pip_requirements 和 extra_pip_requirements 指定 pip requirements。
save_model_kwargs – 传递给 keras.Model.save 方法的 kwargs 字典。
metadata – 传递给模型并存储在 MLmodel 文件中的自定义元数据字典。

示例

import keras
import mlflow

model = keras.Sequential(
    [
        keras.Input([28, 28, 3]),
        keras.layers.Flatten(),
        keras.layers.Dense(2),
    ]
)
with mlflow.start_run() as run:
    mlflow.keras.save_model(model, "./model")