跳到主要内容

MLflow 追踪用于 LLM 可观测性

MLflow 追踪通过捕获请求中每个中间步骤的输入、输出和相关元数据，增强了应用程序中的 LLM 可观测性，使您能够轻松查明错误和意外行为的来源。

Tracing Gateway Video

机器学习生命周期中的用例​

MLflow 追踪在机器学习项目的端到端生命周期中为您提供支持。它在工作流程的每个步骤中为您提供帮助，点击下面的选项卡了解更多信息

在您的 IDE 或 Notebook 中调试问题​

追踪提供了对生成式 AI (GenAI) 库抽象之下发生的事情的深入洞察，帮助您精确识别问题发生的位置。

您可以在首选的 IDE、notebook 或 MLflow UI 中无缝导航追踪，无需在多个选项卡之间切换或在海量追踪列表中搜索。

了解更多 →

Trace Debugging

MLflow 追踪有何独特之处？​

开源

MLflow 是开源且 100% 免费的。您无需支付额外的 SaaS 费用即可为您的生成式 AI (GenAI) 堆栈添加可观测性。您的追踪数据托管在您自己的基础设施上。

OpenTelemetry

MLflow 追踪兼容 OpenTelemetry，使其免受供应商锁定，并易于与您现有的可观测性堆栈集成。

框架无关

MLflow 追踪集成了 20 多个生成式 AI (GenAI) 库，包括 OpenAI、LangChain、LlamaIndex、DSPy、Pydantic AI，让您轻松地在框架之间切换。

端到端平台

MLflow 追踪结合其版本追踪和评估能力，在整个机器学习端到端生命周期中为您提供支持。

强大的社区

MLflow 拥有一个充满活力的开源社区，作为 Linux 基金会的一部分，拥有 2 万多 GitHub 星标和每月 2000 万多次下载。

开始使用​

快速入门

快速入门

开始在 Python 中使用 MLflow

开始构建 →

追踪您的应用

探索用于检测您自己的应用程序或系统的实用指南

了解更多 →

单行自动追踪集成​

MLflow 追踪集成了各种生成式 AI (GenAI) 库，并为每个库（以及它们的组合！）提供单行自动追踪体验。

import mlflow

mlflow.openai.autolog()  # or replace 'openai' with other library names, e.g., "anthropic"
框架LLM 提供商工具
LangChain • LangGraph • LlamaIndex • DSPy • PydanticAI • AutoGen • OpenAI Agent • AG2 • CrewAI • SmolagentsOpenAI • Anthropic • Bedrock • Gemini • LiteLLM • Ollama • Groq • Mistral • DeepSeekInstructor • txtai

有关完整列表和详细集成示例，请参阅自动追踪文档。

灵活且可定制​

除了单行自动追踪体验外，MLflow 还提供 Python SDK，用于手动检测您的代码和操作追踪。

生产就绪​

MLflow 追踪已为生产环境做好准备，并为生产环境中的生成式 AI (GenAI) 应用程序提供全面的监控功能。通过启用 异步日志记录，追踪日志记录在后台完成，不会影响应用程序的性能。

对于生产部署，建议使用 轻量级追踪 SDK (mlflow-tracing)，它经过优化，旨在减小总安装大小并最大程度地减少依赖项，同时保持完整的追踪功能。与完整的 mlflow 包相比，mlflow-tracing 包所需的占用空间减少 95%。

阅读 生产监控，获取关于使用 MLflow 追踪监控生产模型和各种后端配置选项的完整指南。