MLflow入门：构建生成式AI应用

用于生产级生成式AI的完整开源LLMOps平台

MLflow改变了软件工程师构建、评估和部署生成式AI应用的方式。在保持使用任何框架或模型提供商的灵活性的同时，获得完整的可观测性、系统化的评估和部署信心。

生成式AI开发生命周期

MLflow提供了一个完整的平台，支持生成式AI应用开发的每一个阶段。从初始原型设计到生产监控，这些集成功能确保您可以自信地构建、测试和部署。

开发与调试

跟踪每一次LLM调用、提示交互和工具调用。通过对执行路径、Token使用量和决策点的完全可见性，调试复杂的AI工作流。

评估与改进

使用LLM裁判、人工反馈和自定义指标进行系统化测试。客观比较不同版本，并在回归问题到达生产环境之前发现它们。

部署与监控

使用内置的部署目标放心地提供模型服务。监控生产性能，并根据真实使用模式进行迭代。

为什么选择开源MLflow进行生成式AI开发？

作为最初的开源ML平台，MLflow为生成式AI开发带来了久经考验的可靠性和社区驱动的创新。没有供应商锁定，没有专有格式——只有与您现有技术栈兼容的强大工具。

生产级可观测性

自动适配包括OpenAI、LangChain和LlamaIndex在内的15+个框架。获取详细的追踪信息，显示每次请求的Token使用量、延迟和执行路径——没有黑箱。

智能提示管理

使用MLflow的提示注册表对提示进行版本控制、比较和部署。跟踪不同提示变体的性能，并为生产系统维护审计跟踪。

自动化质量保证

使用LLM裁判和自动化评估建立信心。对每一次更改运行系统测试，并跟踪质量指标随时间的变化，以防止回归。

框架无关集成

使用任何LLM框架或提供商，无需担心供应商锁定。MLflow与您现有的工具协同工作，同时提供统一的跟踪、评估和部署。

开始构建生产级生成式AI应用

MLflow将生成式AI开发从复杂的插桩工作转变为简单的单行集成。了解为您的AI应用添加全面的可观测性、评估和部署是多么容易。访问Tracing指南了解更多信息。

一行代码添加完整可观测性

将任何生成式AI应用转变为完全可观测的系统

python
import mlflow

# Enable automatic tracing for your framework
mlflow.openai.autolog()  # For OpenAI
mlflow.langchain.autolog()  # For LangChain
mlflow.llama_index.autolog()  # For LlamaIndex
mlflow.dspy.autolog()  # For DSPy

# Your existing code now generates detailed traces
from openai import OpenAI

client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Explain quantum computing"}],
)
# ✅ Automatically traced: tokens, latency, cost, full request/response

无需代码更改。每次LLM调用、工具交互和提示执行都会自动捕获详细指标。

系统化管理和优化提示

注册提示并使用数据驱动的技术自动优化它们。请参阅提示注册表指南以获取全面的提示管理

python
import mlflow
import openai
from mlflow.genai.optimize import GepaPromptOptimizer
from mlflow.genai.scorers import Correctness

# Register an initial prompt
prompt = mlflow.genai.register_prompt(
    name="math_tutor",
    template="Answer this math question: {{question}}. Provide a clear explanation.",
)


# Define prediction function that includes prompt.format() call for your target prompt(s)
def predict_fn(question: str) -> str:
    prompt = mlflow.genai.load_prompt("prompts:/math_tutor@latest")
    completion = openai.OpenAI().chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt.format(question=question)}],
    )
    return completion.choices[0].message.content


# Prepare training data with inputs and expectations
train_data = [
    {
        "inputs": {"question": "What is 15 + 27?"},
        "expectations": {"expected_response": "42"},
    },
    {
        "inputs": {"question": "Calculate 8 × 9"},
        "expectations": {"expected_response": "72"},
    },
    {
        "inputs": {"question": "What is 100 - 37?"},
        "expectations": {"expected_response": "63"},
    },
    # ... more examples
]

# Automatically optimize the prompt using MLflow + GEPA
result = mlflow.genai.optimize_prompts(
    predict_fn=predict_fn,
    train_data=train_data,
    prompt_uris=[prompt.uri],
    optimizer=GepaPromptOptimizer(reflection_model="openai:/gpt-4o-mini"),
    scorers=[Correctness(model="openai:/gpt-4o-mini")],
)

# The optimized prompt is automatically registered as a new version
optimized_prompt = result.optimized_prompts[0]
print(f"Optimized prompt registered as version {optimized_prompt.version}")
print(f"Template: {optimized_prompt.template}")
print(f"Score: {result.final_eval_score}")