MLflow Tracing for LLM 可观测性

MLflow Tracing 是一个完全与 OpenTelemetry 兼容的 LLM 可观测性解决方案，适用于您的应用程序。它可以捕获请求的每个中间步骤相关的输入、输出和元数据，让您轻松定位 bug 和意外行为的根源。

贯穿 ML 生命周期用例

MLflow Tracing 可在机器学习项目的整个生命周期中为您提供支持。以下是它在工作流程的每个步骤中的帮助，点击下面的选项卡了解更多信息

构建与调试

在 IDE 或 Notebook 中调试问题

Trace（跟踪）提供了对 GenAI 库抽象之下发生的深入洞察，帮助您精确地识别问题发生的地点。

您可以无缝地在您喜欢的 IDE、Notebook 或 MLflow UI 中导航 Trace，无需在多个标签页之间切换或搜索大量 Trace 列表。

了解更多 →

人工反馈

跟踪注释和人工反馈

人工反馈对于构建满足用户期望的高质量 GenAI 应用程序至关重要。MLflow 支持收集、管理和利用最终用户及领域专家的反馈。

反馈会附加到 Trace 中，并与元数据一起记录，包括用户、时间戳、修订版本等。

了解更多 →

评估

评估和提高质量

系统地评估和改进 GenAI 应用程序的质量是一项挑战。结合MLflow GenAI 评估，MLflow 为评估您的应用程序提供了无缝的体验。

Tracing 通过允许您跟踪质量评估并查看评估结果，同时深入了解系统内部，从而提供帮助。

了解更多 →

生产监控

监控生产环境中的应用程序

理解和优化 GenAI 应用程序的性能对于高效运营至关重要。MLflow Tracing 会捕获每个步骤的关键指标，如延迟和 token 使用量，以及各种质量指标，帮助您识别瓶颈、监控效率并找到优化机会。

了解更多 →

数据集收集

从真实流量创建高质量数据集

评估 GenAI 应用程序的性能至关重要，但创建可靠的评估数据集具有挑战性。

生产系统中的 Trace 捕获了完美的用于构建高质量数据集的数据，其中包含检索器和工具等内部组件的精确详细信息。

了解更多 →

MLflow Tracing 的独特之处是什么？

开源

MLflow 是开源且 100% 免费的。您无需支付额外的 SaaS 成本即可为您的 GenAI 堆栈添加可观测性。您的 Trace 数据托管在您自己的基础设施上。

OpenTelemetry

MLflow Tracing 完全兼容 OpenTelemetry，使其不受供应商锁定，并且易于与您现有的可观测性堆栈集成。

框架无关

MLflow Tracing 集成了 20 多个 GenAI 库，包括 OpenAI、LangChain、LlamaIndex、DSPy、Pydantic AI，让您可以轻松地在不同框架之间切换。

端到端平台

MLflow Tracing 在整个机器学习生命周期中为您提供支持，并结合了版本跟踪和评估功能。

强大的社区

MLflow 拥有充满活力的开源社区，是 Linux 基金会的一部分，拥有 20K+ GitHub Star 和 2000 万+ 月下载量。

开始使用

快速入门 (Python)

开始使用 MLflow Tracing (Python)

开始构建 →

快速入门 (JS/TS)

开始使用 MLflow Tracing (JavaScript/TypeScript)

开始构建 →

快速入门 (Otel)

将 OpenTelemetry 仪器化应用的 Trace 导出到 MLflow。

开始构建 →

单行自动 Trace 集成

MLflow Tracing 集成了各种 GenAI 库，例如 OpenAI、LangChain、DSPy、Vercel AI，并为每个库（以及它们的组合！）提供单行自动 Trace 体验。

python

import mlflow

mlflow.openai.autolog()  # or replace 'openai' with other library names, e.g., "anthropic"

在集成页面查看支持的库列表和详细的设置说明。

灵活且可定制

除了单行自动 Trace 体验外，MLflow 还提供了 Python SDK，用于手动仪器化您的代码和操作 Trace。

• 使用 @mlflow.trace 装饰器跟踪函数
• 跟踪任意代码块
• 组合多个自动 Trace 集成
• 仪器化多线程应用程序
• 原生异步支持
• 使用会话对 Trace 进行分组和过滤
• 从 Trace 中删除 PII 数据
• 全局禁用 Trace
• 配置采样率以控制 Trace 吞吐量
• 跨服务传播 Trace 上下文

生产就绪

MLflow Tracing 已准备好用于生产环境，并为生产环境中的 GenAI 应用程序提供全面的监控功能。通过启用异步日志记录，Trace 日志记录将在后台进行，不会影响您应用程序的性能。

对于生产部署，建议使用轻量级 Tracing SDK (mlflow-tracing)，该 SDK 经过优化，可减小总安装大小和最小化依赖项，同时保持完整的 Tracing 功能。与完整的 mlflow 包相比，mlflow-tracing 包的占用空间减少了 95%。

阅读生产环境监控以获取关于使用 MLflow Tracing 监控生产环境中的模型和各种后端配置选项的完整指南。