MLflow GenAI 入门指南

面向生产级 GenAI 的完整开源 LLMOps 平台

MLflow 改变了软件工程师构建、评估和部署 GenAI 应用的方式。获得全面的可观测性、系统化的评估和部署信心——同时保持使用任何框架或模型提供商的灵活性。

MLflow Tracing UI showing detailed GenAI observability

GenAI 开发生命周期

MLflow 提供了一个完整的平台，支持 GenAI 应用开发的每个阶段。从最初的原型设计到生产监控，这些集成功能确保您可以充满信心地构建、测试和部署。

开发与调试

追踪每一次 LLM 调用、提示词交互和工具调用。通过对执行路径、令牌使用和决策点的完全可见性来调试复杂的 AI 工作流。

评估与改进

使用 LLM 评判、人工反馈和自定义指标进行系统化测试。客观地比较不同版本，并在回归问题进入生产环境之前将其捕获。

部署与监控

使用内置的部署目标充满信心地提供模型服务。监控生产性能，并根据真实世界的使用模式进行迭代。

为何选择开源 MLflow 进行 GenAI 开发？

作为最初的开源机器学习平台，MLflow 为 GenAI 开发带来了经过实战检验的可靠性和社区驱动的创新。没有供应商锁定，没有专有格式——只有能与您的技术栈协同工作的强大工具。

生产级的可观测性

自动监测超过 15 个框架，包括 OpenAI、LangChain 和 LlamaIndex。获取显示每次请求的令牌使用量、延迟和执行路径的详细追踪信息——没有黑盒。

智能提示词管理

使用 MLflow 的提示词注册库对提示词进行版本控制、比较和部署。跨不同提示词版本追踪性能，并为生产系统维护审计跟踪。

自动化质量保证

通过 LLM 评判和自动化评估建立信心。对每一次变更运行系统化测试，并随时间推移追踪质量指标以防止回归。

框架无关的集成

使用任何 LLM 框架或提供商，无需担心供应商锁定。MLflow 与您现有的工具协同工作，同时提供统一的追踪、评估和部署。

开始构建生产级 GenAI 应用

MLflow 将复杂的 GenAI 开发工具集成转变为简单的一行代码集成。看看为您的 AI 应用添加全面的可观测性、评估和部署是多么容易。

一行代码添加完整的可观测性

将任何 GenAI 应用转变为一个完全可观测的系统

import mlflow

# Enable automatic tracing for your framework
mlflow.openai.autolog()  # For OpenAI
mlflow.langchain.autolog()  # For LangChain
mlflow.llama_index.autolog()  # For LlamaIndex
mlflow.dspy.autolog()  # For DSPy

# Your existing code now generates detailed traces
from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Explain quantum computing"}],
)
# ✅ Automatically traced: tokens, latency, cost, full request/response

无需更改代码。每一次 LLM 调用、工具交互和提示词执行都会被自动捕获，并附有详细的指标。

系统化管理和优化提示词

注册提示词并使用数据驱动技术自动优化它们

import mlflow
from mlflow.genai.optimize import OptimizerConfig, LLMParams

# Register an initial prompt
initial_prompt = mlflow.genai.register_prompt(
    name="math_tutor",
    template="Answer this math question: {{question}}. Provide a clear explanation.",
)

# Prepare training data for optimization
train_data = [
    {"question": "What is 15 + 27?", "expected": "42"},
    {"question": "Calculate 8 × 9", "expected": "72"},
    # ... more examples
]

# Automatically optimize the prompt using MLflow + DSPy
result = mlflow.genai.optimize_prompt(
    target_llm_params=LLMParams(model_name="openai/gpt-4o-mini"),
    prompt=initial_prompt,
    train_data=train_data,
    eval_data=train_data[:5],  # Hold-out evaluation set
    optimizer_config=OptimizerConfig(
        num_instruction_candidates=5,  # Try 5 different prompt variations
        max_few_shot_examples=3,  # Include up to 3 examples
    ),
)

# The optimized prompt is automatically registered as a new version of the original prompt
optimized_prompt = result.optimized_prompt
print(
    f"Optimization improved accuracy from {result.baseline_score:.2f} to {result.optimized_score:.2f}"
)
print(
    f"Optimized prompt registered as version {optimized_prompt.version} of '{optimized_prompt.name}'"
)

# Deploy the best-performing version
with mlflow.start_run():
    # Use the optimized prompt in your application
    model_info = mlflow.openai.log_model(
        model="gpt-4o-mini",
        task="llm/v1/completions",
        name="math_tutor_optimized",
        prompts=[optimized_prompt],  # Link optimized prompt to model
    )
# ✅ Data-driven prompt optimization + automatic versioning + deployment