跳到主要内容

MLflow 评估

经典 ML 评估系统

本文档介绍了 MLflow 的经典评估系统 (mlflow.evaluate)，该系统使用 EvaluationMetric 和 make_metric 来定义自定义指标。

对于 GenAI/LLM 评估，请使用 GenAI 评估 系统，该系统使用

  • mlflow.genai.evaluate() 而不是 mlflow.evaluate()
  • Scorer 对象而不是 EvaluationMetric
  • 内置的 LLM 评估器和评分器

重要提示：这两个系统不兼容。EvaluationMetric 对象不能与 mlflow.genai.evaluate() 一起使用，Scorer 对象也不能与 mlflow.evaluate() 一起使用。

简介​

模型评估是可靠的机器学习的基石，它将训练好的模型转化为值得信赖的、可投入生产的系统。MLflow 全面的评估框架超越了简单的准确率指标，通过自动化测试、可视化和验证管道，深入了解模型行为、性能特征和实际可用性。

MLflow 的评估功能使高级模型评估民主化，使各种规模的团队都能使用复杂的评估技术。从快速原型设计到企业部署，MLflow 评估确保您的模型符合可靠性、公平性和性能的最高标准。

为什么全面的模型评估很重要

超越基础指标​

  • 📊 整体评估：在一个统一的框架中提供性能指标、可视化和解释
  • 🎯 任务特定评估：为分类、回归和 LLM 任务提供专门的评估器
  • 🔍 模型可解释性：SHAP 集成，用于理解模型决策和特征重要性
  • ⚖️ 公平性分析：跨不同人口统计组进行偏见检测和道德 AI 验证

生产就绪​

  • 🚀 自动化验证：基于阈值的模型接受，具有可自定义的标准
  • 📈 性能监控：跟踪模型随时间的退化和漂移
  • 🔄 A/B 测试支持：将候选模型与生产基线进行比较
  • 📋 审计跟踪：完整的评估历史记录，用于法规遵从和模型治理

为什么选择 MLflow 评估？​

MLflow 的评估框架为模型评估和验证提供了一个全面的解决方案

  • ⚡ 一行评估：通过 mlflow.evaluate() 进行全面的模型评估 - 只需最少的配置
  • 🎛️ 灵活的评估模式：使用相同的统一 API 评估模型、函数或静态数据集
  • 📊 丰富的可视化：自动生成性能图、混淆矩阵和诊断图
  • 🔧 自定义指标：使用易于使用的指标构建器定义领域特定的评估标准
  • 🧠 内置可解释性：SHAP 集成，用于模型解释和特征重要性分析
  • 👥 团队协作：通过 MLflow 的跟踪界面共享评估结果和模型比较
  • 🏭 企业集成：适用于 Giskard 和 Trubrics 等专业评估框架的插件架构

核心评估功能​

自动化模型评估​

MLflow 评估将复杂的模型评估转化为简单、可重复的工作流

import mlflow
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine

# Load and prepare data
wine = load_wine()
X_train, X_test, y_train, y_test = train_test_split(
    wine.data, wine.target, test_size=0.2, random_state=42
)

# Train model
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# Create evaluation dataset
eval_data = X_test
eval_data["target"] = y_test

with mlflow.start_run():
    # Log model
    mlflow.sklearn.log_model(model, name="model")

    # Comprehensive evaluation with one line
    result = mlflow.models.evaluate(
        model="models:/my-model/1",
        data=eval_data,
        targets="target",
        model_type="classifier",
        evaluators=["default"],
    )
自动生成的内容

性能指标​

  • 📊 分类：准确率、精确率、召回率、F1 分数、ROC-AUC、混淆矩阵
  • 📈 回归：MAE、MSE、RMSE、R²、残差分析、预测与实际值图
  • 🎯 自定义指标：使用简单的 Python 函数定义的领域特定度量

视觉诊断​

  • 📊 性能图：ROC 曲线、精确率-召回率曲线、校准图
  • 📈 特征重要性：SHAP 值、排列重要性、特征交互

模型解释​

  • 🧠 全局解释：整体模型行为和特征贡献（使用 shap）
  • 🔍 局部解释：单个预测解释和决策路径（使用 shap）

灵活的评估模式​

MLflow 支持多种评估方法以适应您的工作流

全面的评估选项

模型评估​

  • 🤖 已记录的模型：评估已记录到 MLflow 的模型
  • 🔄 实时模型：直接评估内存中的模型对象
  • 📦 管道评估：对预处理和建模管道进行端到端评估

函数评估​

  • ⚡ 轻量级评估：评估 Python 函数，无需模型记录的开销
  • 🔧 自定义预测：评估复杂的预测逻辑和业务规则
  • 🎯 快速原型设计：在模型开发过程中进行快速评估

数据集评估​

  • 📊 静态分析：在不重新运行模型的情况下评估预先计算的预测
  • 🔄 批量处理：高效评估大规模推理结果
  • 📈 历史分析：评估模型在过去预测上的性能

专业评估领域​

我们的全面评估框架分为专门的领域，每个领域都为模型评估的特定方面而设计

模型评估

分类和回归任务的核心模型评估工作流，提供自动化的指标、可视化和性能评估。

数据集评估

在不重新运行模型的情况下评估静态数据集和预先计算的预测，非常适合批量处理和历史分析。

函数评估

对 Python 函数和自定义预测逻辑进行轻量级评估，无需模型记录和注册的开销。

自定义指标和可视化

定义领域特定的评估标准、自定义指标和专门的可视化，以满足您的业务需求。

SHAP 集成

通过 SHAP 值、特征重要性分析和可解释 AI 功能进行深入的模型解释，实现透明的 ML。

插件评估器

通过 Giskard 等漏洞扫描插件和 Trubrics 等高级验证插件来扩展评估功能。

高级评估功能​

企业集成​

生产级评估

模型治理​

  • 📋 审计跟踪：完整的评估历史记录，用于法规遵从
  • 🔒 访问控制：基于角色的评估权限和结果可见性
  • 📊 高管仪表板：面向利益相关者的高层模型性能摘要
  • 🔄 自动化报告：计划的评估报告和性能警报

MLOps 集成​

  • 🚀 CI/CD 管道：部署工作流中的自动化评估门
  • 📈 性能监控：对生产模型进行持续评估
  • 🔄 A/B 测试：在生产环境中对模型变体进行统计比较
  • 📊 漂移检测：模型性能下降的自动化警报

实际应用​

MLflow 评估在各种机器学习应用中表现出色

  • 🏦 金融服务：信用评分模型验证、欺诈检测性能评估和法规遵从评估
  • 🏥 医疗保健：医疗 AI 模型验证、诊断准确性评估和安全关键模型认证
  • 🛒 电子商务：推荐系统评估、搜索相关性评估和个性化有效性衡量
  • 🚗 自动驾驶系统：安全关键模型验证、边缘案例分析和自动驾驶汽车的鲁棒性测试
  • 🎯 营销技术：营销活动效果衡量、客户细分验证和归因模型评估
  • 🏭 制造业：质量控制模型验证、预测性维护评估和流程优化评估
  • 📱 技术平台：内容审核有效性、用户行为预测准确性和系统性能优化

开始使用​

准备好使用 MLflow 提升您的模型评估实践了吗？选择最适合您当前需求的评估方法

快速入门建议

面向数据科学家​

从 模型评估 开始，了解全面的性能评估，然后探索自定义指标以满足领域特定需求。

面向 ML 工程师​

从 函数评估 开始进行轻量级测试，然后进行模型验证以进行生产就绪性评估。

面向 ML 研究人员​

探索 SHAP 集成以进行模型解释，然后研究插件评估器以获得专业分析功能。

面向企业团队​

从 模型验证开始满足治理要求，然后实施 数据集评估以进行大规模评估工作流。

无论您是在验证第一个模型还是在实现企业级评估框架，MLflow 的全面评估套件都提供了构建值得信赖、可靠的机器学习系统所需的工具和见解，这些系统能够自信地带来真正的业务价值。