用于 LLM 和智能体可观测性的 MLflow 追踪

MLflow Tracing 是一种完全兼容 OpenTelemetry 的 LLM 可观测性解决方案，专为您的智能体和 LLM 应用打造。它能够捕获请求中每个中间步骤的输入、输出和元数据，使您能够轻松查明错误和意外行为的根源。

试用 MLflow LLM 和智能体 Demo

了解面向 LLM 和 AI 智能体的 MLflow 的最快方法是试用 Demo。点击启动 Demo ↓

公开 Demo

访问 demo.mlflow.org，探索预装了样本数据的公开托管 MLflow 实例。

从 UI 启动

要启动 Demo，请点击 MLflow UI 顶部页面上的“Start Demo”按钮。

从 CLI 启动

或者，您可以使用 mlflow demo 命令从命令行启动 Demo。此选项不需要您运行 MLflow 服务器。

bash

uvx mlflow demo

LLM 和智能体追踪用例

MLflow Tracing 为您的智能体和 LLM 应用提供了全面的可见性。以下是它如何在智能体开发的各个阶段为您提供帮助，请点击下方标签了解更多

构建与调试

在 IDE 或 Notebook 中调试问题

追踪（Traces）能够深入洞察 LLM 和 AI 智能体框架抽象层下的运行情况，帮助您精确识别问题发生的位置。

您可以在首选的 IDE、Notebook 或 MLflow UI 中无缝导航追踪记录，无需在多个标签页之间切换，也无需在海量的追踪列表中苦苦搜索。

了解更多 →

人工反馈

追踪标注与人工反馈

人工反馈对于构建符合用户期望的高质量 LLM 应用和 AI 智能体至关重要。MLflow 支持收集、管理和利用来自最终用户及领域专家的反馈。

反馈被附加到追踪记录中，并连同元数据（包括用户、时间戳、修订版本等）一同保存。

了解更多 →

评估

评估与质量提升

系统性地评估和提高 LLM 应用及 AI 智能体的质量是一项挑战。结合 MLflow Evaluation，MLflow 为您提供了评估应用的无缝体验。

通过追踪，您可以跟踪质量评估情况，并深入了解系统内部结构，从而检查评估结果。

了解更多 →

生产监控

生产环境应用监控

了解并优化 LLM 应用和 AI 智能体的性能对于高效运维至关重要。MLflow Tracing 可捕获每一步的关键指标（如延迟和 Token 使用量）以及各种质量指标，帮助您识别瓶颈、监控效率并发现优化机会。

了解更多 →

数据集收集

从真实流量创建高质量数据集

评估 LLM 应用或 AI 智能体的性能至关重要，但创建一个可靠的评估数据集却充满挑战。

来自生产系统的追踪记录捕获了完美的数据，可用于构建高质量的数据集，并为检索器（Retriever）和工具等内部组件提供精确的详细信息。

了解更多 →

MLflow Tracing 的独特之处

开源

MLflow 是开源且 100% 免费的。您无需支付额外的 SaaS 费用即可为您的 AI 技术栈添加可观测性。您的追踪数据托管在您自己的基础设施上。

OpenTelemetry

MLflow Tracing 完全兼容 OpenTelemetry，并原生支持 GenAI 语义约定进行导出和摄取，摆脱了厂商锁定，且易于集成到您现有的可观测性技术栈中。

框架无关

MLflow Tracing 集成了所有主流 LLM 提供商和 AI 智能体框架，包括 OpenAI、LangChain、LlamaIndex、DSPy、Pydantic AI，使您可以轻松在不同框架之间切换。

端到端平台

MLflow Tracing 为您的智能体和 LLM 应用提供全面的可见性，使您能够调试、监控并提升质量与性能。

强大的社区

作为 Linux 基金会的一部分，MLflow 拥有一个充满活力的开源社区，在 GitHub 上拥有超过 2 万颗星，每月下载量超过 2000 万次。

入门

快速入门 (Python)

开始在 Python 中使用 MLflow Tracing

开始构建 →

快速入门 (JS/TS)

开始在 JavaScript 或 TypeScript 中使用 MLflow Tracing

开始构建 →

快速入门 (Otel)

将通过 OpenTelemetry 插桩的应用程序中的追踪记录导出到 MLflow。

开始构建 →

一行代码实现自动追踪集成

MLflow Tracing 与各种 LLM 和 AI 智能体框架（如 OpenAI、LangChain、DSPy、Vercel AI）集成，为每个库（以及它们的组合！）提供一行代码的自动追踪体验。

python

import mlflow

mlflow.openai.autolog()  # or replace 'openai' with other library names, e.g., "anthropic"

查看支持的库的完整列表及详细设置说明，请访问 Integrations（集成）页面。

灵活且可定制

除了一行代码的自动追踪体验外，MLflow 还提供 Python SDK，用于手动插桩代码并处理追踪记录。

• 使用 @mlflow.trace 装饰器追踪函数
• 追踪任何代码块
• 组合多个自动追踪集成
• 对多线程应用程序进行插桩
• 原生异步支持
• 使用会话（Sessions）对追踪进行分组和筛选
• 从追踪记录中脱敏 PII 数据
• 全局禁用追踪
• 配置采样率以控制追踪吞吐量
• 跨服务传播追踪上下文
• 在追踪记录中捕获并查看图像和音频

生产就绪

MLflow Tracing 已做好生产准备，可为生产环境中的 LLM 应用和 AI 智能体提供全面的监控功能。通过启用 异步日志记录 (async logging)，追踪日志记录将在后台执行，不会影响应用程序的性能。

对于生产环境部署，建议使用专为减少安装体积和最小化依赖而优化的 生产追踪 SDK (mlflow-tracing)，同时保持完整的追踪功能。与完整的 mlflow 包相比，mlflow-tracing 包的占用空间减少了 95%。

阅读 生产监控指南，获取关于在生产环境中使用 MLflow Tracing 进行模型监控及各种后端配置选项的完整指导。