跳到主要内容

MLflow 追踪 UI

GenAI 实验概览​

GenAI 实验中的概览选项卡提供了有关您的 GenAI 应用追踪的全面分析和可视化。此选项卡分为三个子选项卡，可帮助您监控应用的各个方面。

所有选项卡都包含一个时间范围选择器和时间单位选择器，用于自定义显示数据的粒度和范围。

用法​

“使用情况”选项卡会显示有关您随时间变化的追踪请求的关键指标

  • 请求：显示追踪请求的总数，并带有平均参考线
  • 延迟：可视化响应时间分布，以帮助识别性能瓶颈
  • 错误：跟踪错误率以快速发现问题
  • Token 使用量和 Token 统计信息：监控追踪中的 Token 消耗情况

Experiment Overview Usage Tab

质量​

“质量”选项卡提供了有关您的 GenAI 输出质量的见解

  • 质量摘要：提供评分器结果的概览
  • 质量见解：显示由 评分器计算的指标，每个评估类型都有一个专门的图表
  • 图表是根据追踪中可用的评估动态生成的

Experiment Overview Quality Tab

工具调用​

“工具调用”选项卡提供了有关智能体工具使用情况的见解

  • 统计信息卡：一目了然地显示指标，包括总工具调用次数、平均延迟、成功率和失败调用次数
  • 工具性能摘要：提供每个工具的性能概览
  • 工具使用情况和延迟：可视化工具调用模式和响应时间
  • 工具错误率：跟踪每个工具的错误率

Experiment Overview Tool Calls Tab

MLflow 实验中的追踪​

记录追踪后，您可以在主实验页面的“追踪”选项卡下，于 MLflow UI 中查看它们。如果您的追踪是在运行上下文内记录的，此选项卡也可以在单个运行页面中找到。

MLflow Tracking UI

此表包含有关追踪的高级信息，例如追踪 ID、根跨度的输入/输出等。从该页面，您还可以执行一些操作来管理您的追踪

使用 UI 中的搜索栏，您可以根据名称、标签或其他元数据轻松筛选追踪。有关查询字符串格式的详细信息，请参阅搜索文档。

浏览跨度数据​

要浏览单个追踪的跨度数据，只需点击“追踪 ID”或“追踪名称”列中的链接即可打开追踪查看器

Jupyter Notebook 集成​

注意

MLflow 追踪 Jupyter 集成在 MLflow 2.20 及更高版本中可用

您也可以直接在 Jupyter notebook 中查看追踪 UI，从而无需切换出开发环境即可调试您的应用。

Jupyter Trace UI

此功能需要使用 MLflow 追踪服务器，因为 UI 资源是从此处获取的。要开始使用，只需确保 MLflow Tracking URI 设置为您的追踪服务器（例如 mlflow.set_tracking_uri("https://:5000")）。

默认情况下，追踪 UI 将自动显示以下事件

  1. 当单元格代码生成追踪时（例如，通过自动追踪，或运行手动追踪的函数时）
  2. 当调用 mlflow.search_traces() 时
  3. 当显示 mlflow.entities.Trace() 对象时（例如，通过 IPython 的 display 函数，或当它是单元格返回的最后一个值时）

要禁用显示，只需调用 mlflow.tracing.disable_notebook_display()，然后重新运行包含 UI 的单元格。要再次启用它，请调用 mlflow.tracing.enable_notebook_display()。