MLflow Tracing 实现 LLM 可观测性

MLflow Tracing 通过捕获与请求的每个中间步骤相关的输入、输出和元数据，增强了您应用程序中的 LLM 可观测性，使您能够轻松查明错误和意外行为的来源。

贯穿机器学习生命周期的用例

MLflow Tracing 在机器学习项目的整个端到端生命周期中为您提供支持。以下是它在工作流程的每个步骤中如何帮助您，点击下面的选项卡了解更多信息

构建与调试

在您的 IDE 或 Notebook 中调试问题

Trace（链路追踪）提供了对 GenAI 库抽象层下发生情况的深入洞察，帮助您精确识别问题所在。

您可以在您偏好的 IDE、Notebook 或 MLflow UI 中无缝导航 Trace，无需在多个标签页之间切换或在大量 Trace 列表中搜索。

了解更多 →

人工反馈

跟踪标注和人工反馈

人工反馈对于构建满足用户期望的高质量 GenAI 应用程序至关重要。MLflow 支持收集、管理和利用来自最终用户和领域专家的反馈。

反馈会附加到 Trace 上，并与元数据一同记录，包括用户、时间戳、修订版本等。

了解更多 →

评估

评估和提升质量

系统地评估和改进 GenAI 应用程序的质量是一项挑战。结合 MLflow GenAI 评估，MLflow 为评估您的应用程序提供了无缝的体验。

Tracing 通过允许您跟踪质量评估并检查评估结果，同时提供对系统内部的可见性来提供帮助。

了解更多 →

生产监控

监控生产中的应用程序

理解和优化 GenAI 应用程序性能对于高效运营至关重要。MLflow Tracing 捕获每一步的关键指标，如延迟和 Token 使用量，以及各种质量指标，帮助您识别瓶颈、监控效率并寻找优化机会。

了解更多 →

数据集收集

从真实世界流量创建高质量数据集

评估您的 GenAI 应用程序的性能至关重要，但创建一个可靠的评估数据集具有挑战性。

来自生产系统的 Trace 捕获了完美的数据，用于构建高质量的数据集，其中包含诸如检索器和工具等内部组件的精确细节。

了解更多 →

是什么让 MLflow Tracing 与众不同？

开源

MLflow 是开源且 100% 免费的。您无需支付额外的 SaaS 成本即可为您的 GenAI 技术栈添加可观测性。您的 Trace 数据托管在您自己的基础设施上。

OpenTelemetry

MLflow Tracing 与 OpenTelemetry 兼容，使其不受供应商锁定的限制，并易于与您现有的可观测性技术栈集成。

框架无关

MLflow Tracing 集成了 20 多个 GenAI 库，包括 OpenAI、LangChain、LlamaIndex、DSPy、Pydantic AI，让您可以轻松地在不同框架之间切换。

端到端平台

MLflow Tracing 结合其版本跟踪和评估功能，在整个端到端机器学习生命周期中为您提供支持。

强大的社区

MLflow 作为 Linux 基金会的一部分，拥有一个充满活力的开源社区，拥有超过 2 万个 GitHub Star 和每月超过 2000 万次下载。

开始使用

快速入门 (Python)

在 Python 中开始使用 MLflow

开始构建 →

快速入门 (JS/TS)

在 JavaScript 或 TypeScript 中开始使用 MLflow

开始构建 →

追踪您的应用

探索为自己的应用程序或系统进行插桩的实践指南

了解更多 →

一行代码自动追踪集成

MLflow Tracing 与各种 GenAI 库集成，并为每个库（以及它们的组合！）提供一行代码的自动追踪体验。

import mlflow

mlflow.openai.autolog()  # or replace 'openai' with other library names, e.g., "anthropic"

点击下方的徽标以了解有关各个集成的更多信息

灵活且可定制

除了一行代码的自动追踪体验外，MLflow 还提供 Python SDK，用于手动对您的代码进行插桩和操作 Trace。

• 使用 @mlflow.trace 装饰器追踪一个函数
• 使用上下文管理器追踪任何代码块
• 结合多个自动追踪集成
• 为多线程应用程序进行插桩
• 原生异步支持
• 使用会话对 Trace 进行分组和过滤
• 从 Trace 中隐去个人可识别信息 (PII) 数据
• 全局禁用追踪
• 配置采样率以控制 Trace 吞吐量

生产就绪

MLflow Tracing 已准备好用于生产环境，并为您的 GenAI 应用程序在生产环境中提供全面的监控功能。通过启用异步日志记录，追踪日志记录在后台完成，不会影响您应用程序的性能。

对于生产部署，建议使用轻量级追踪 SDK (mlflow-tracing)，它经过优化，可减少总安装大小并最小化依赖关系，同时保持完整的追踪功能。与完整的 mlflow 包相比，mlflow-tracing 包所需的空间减少了 95%。

阅读生产监控，获取有关使用 MLflow Tracing 监控生产中模型以及各种后端配置选项的完整指南。