追踪 GenAI 应用

MLflow 追踪提供了对您的 GenAI 应用程序执行情况的全面可见性，帮助您调试、优化和理解应用程序的行为。 通过追踪，您可以准确地了解应用程序内部发生的事情 - 从用户输入到模型输出，包括所有中间步骤、延迟和令牌使用情况。

快速示例

以下是如何轻松地将追踪添加到您的 GenAI 应用程序中

基本设置

import mlflow


@mlflow.trace
def ask_question(question: str) -> str:
    """Simple traced function that processes a question."""
    response = call_llm(question)
    return response


ask_question("What is MLflow?")

自动日志记录用法

import openai
import mlflow

# enable openai autologging
mlflow.openai.autolog()

openai_client = openai.OpenAI()
messages = [
    {
        "role": "user",
        "content": "What is MLflow?",
    }
]
response = openai_client.chat.completions.create(
    model="gpt-4o-mini",
    messages=messages,
    temperature=0.1,
    max_tokens=100,
)

高级用法

import mlflow


@mlflow.trace(name="qa_pipeline", span_type="CHAIN")
def qa_pipeline(question: str):
    with mlflow.start_span(name="preprocess") as span:
        span.set_attribute("question_length", len(question))
        processed_question = preprocess_question(question)

    with mlflow.start_span(name="llm_call") as span:
        response = call_llm(processed_question)
        span.set_attribute("tokens_used", response.usage.total_tokens)

    return response.content


qa_pipeline("What is MLflow?")

选择您的开发环境

选择与您的开发环境相匹配的快速入门指南

开发环境	如果...请使用本指南
*Notebook（笔记本）** 直接在 Notebook 中开始使用 MLflow 追踪	您在 Notebook 中进行开发，并且需要最简单的设置，无需身份验证配置
本地 IDE 在您的本地开发环境中设置 MLflow 追踪	您在 VS Code、PyCharm 或任何其他本地 IDE 中进行开发，并且需要连接到 MLflow

您将构建什么

在任一快速入门中，您将创建一个简单的 GenAI 应用程序，该应用程序

• 自动捕获每个请求的详细追踪
• 提供对令牌使用情况、延迟和应用程序流程的深入了解
• 支持您的 GenAI 管道的调试和优化

准备好开始了吗？ 从上面选择您的开发环境，开始构建您的第一个追踪的 GenAI 应用程序。