GenAI 应用的版本追踪
MLflow 的 LoggedModel 为您的整个 GenAI 应用程序（代码、配置、评估和追踪）提供系统化的版本控制。通过完整的应用程序生命周期管理，停止丢失什么有效的信息，开始自信地构建。
为什么版本控制对 GenAI 很重要
GenAI 应用程序是具有相互依赖组件的复杂系统。如果没有系统化的版本控制，开发将变得混乱，部署将充满风险。
消除“昨天还工作”综合症
确切知道代码、提示和配置的哪个组合产生了任何结果。在完整的上下文中重现成功并调试失败。
自信地部署数据驱动
使用质量分数、成本和延迟等指标客观地比较应用程序版本。根据证据而非直觉选择最佳执行者。
追踪每次更改的影响
关联代码提交、配置更改和评估结果。当质量下降时，精确找出何时何地发生了什么变化。
保持生产可审计性
确切知道何时部署了哪个版本。对于合规性、事件响应和法规要求至关重要。
LoggedModel 如何支持 GenAI 版本控制
MLflow 的 LoggedModel 调整了传统的机器学习模型版本控制以适应 GenAI 应用程序。它不仅仅追踪模型权重，而是成为一个全面的元数据中心，协调 AI 系统的所有移动部分。
应用程序状态快照
每个 LoggedModel 版本都捕获一个完整的应用程序状态——代码引用、配置、依赖项和性能数据在一个版本化实体中。
灵活的代码管理
链接到外部 git 提交以实现轻量级版本控制，或直接打包代码以进行部署。选择适合您工作流程的方法。
自动追踪关联
当您设置活动模型上下文时，所有后续追踪都会自动链接到该版本。无需手动记账。
5 分钟开始版本追踪
只需几行代码，即可将混乱的 GenAI 开发转化为系统化的版本控制。
通过 Git 集成实现自动版本追踪
将您的应用程序版本链接到 git 提交以实现完全可追溯性
import mlflow
import openai
import os
# Fix: Added missing import
os.environ["OPENAI_API_KEY"] = "your-api-key-here"
# Configure MLflow experiment
mlflow.set_experiment("customer-support-agent")
# Get current git commit using MLflow's built-in utilities
from mlflow.utils.git_utils import get_git_commit
git_commit = get_git_commit(".")
if git_commit:
git_commit = git_commit[:8] # Use short hash
else:
git_commit = "local-dev" # Fallback if not in git repo
# Create version identifier
app_name = "customer_support_agent"
version_name = f"{app_name}-{git_commit}"
# Set active model context - all traces will link to this version
mlflow.set_active_model(name=version_name)
# Enable automatic tracing
mlflow.openai.autolog()
# Your application code - now automatically versioned and traced
client = openai.OpenAI()
test_questions = [
"How do I reset my password?",
"What are your business hours?",
"Can I get a refund for my order?",
]
for question in test_questions:
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": question}],
temperature=0.7,
max_tokens=1000,
)
# ✅ Automatically: traced, versioned, and linked to git commit
自动发生的事情
- 每次 LLM 调用都会生成详细的追踪
- 所有追踪都链接到您的特定应用程序版本
- Git 提交提供精确的代码可复现性
- 可以客观地比较版本性能
版本管理变得简单
# Create a new version for experimentation
with mlflow.set_active_model(name=f"agent-v2-{new_commit}"):
# Test new prompt engineering approach
improved_response = client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{
"role": "system",
"content": "You are a helpful customer support agent. Be concise and actionable.",
},
{"role": "user", "content": question},
],
temperature=0.3, # Lower temperature for consistency
max_tokens=500, # More focused responses
)
# ✅ New version automatically tracked with different configurations
上下文管理器自动处理版本切换——干净、明确、无错误。
系统地比较版本
import pandas as pd
# Evaluate multiple versions against the same test set
eval_data = pd.DataFrame(
{
"inputs": test_questions,
"expected_categories": ["account", "business_info", "billing"],
}
)
# Version A: Original configuration
results_v1 = mlflow.evaluate(
model_uri=f"models:/{app_name}-{commit_v1}",
data=eval_data,
extra_metrics=[
mlflow.metrics.toxicity(),
mlflow.metrics.latency(),
mlflow.metrics.flesch_kincaid_grade_level(),
],
)
# Version B: Improved prompts
results_v2 = mlflow.evaluate(
model_uri=f"models:/{app_name}-{commit_v2}",
data=eval_data,
extra_metrics=[
mlflow.metrics.toxicity(),
mlflow.metrics.latency(),
mlflow.metrics.flesch_kincaid_grade_level(),
],
)
# ✅ Side-by-side comparison shows which version performs better
客观指标消除了版本选择中的猜测。
先决条件
准备好实施系统化的版本追踪了吗？您需要：
- MLflow 3.0+ (
pip install --upgrade "mlflow>=3.1") - 您应用程序代码的 Git 仓库
- Python 3.10+
- LLM API 访问 (OpenAI, Anthropic 等)
对于 Databricks 托管的 MLflow Tracking：pip install --upgrade "mlflow[databricks]>=3.1"
高级版本追踪功能
掌握基本版本追踪后，探索这些用于生产 GenAI 应用程序的高级模式。
从上面的代码示例开始，然后随着应用程序复杂性的增长，探索高级功能。