Tracing Instructor

Instructor 是一个开源的 Python 库，构建在 Pydantic 之上，通过验证、重试和流式传输来简化结构化的 LLM 输出。

MLflow Tracing 与 Instructor 协同工作，方法是为底层 LLM 库启用自动跟踪。例如，如果您将 Instructor 用于 OpenAI LLM，则可以使用 mlflow.openai.autolog() 启用跟踪，生成的跟踪将捕获来自 Instructor 的结构化输出。

类似地，您还可以通过在 MLflow 中启用相应的自动日志记录，使用 Anthropic、Gemini 和 LiteLLM 等其他 LLM 提供商来跟踪 Instructor。

示例用法

以下示例展示了如何跟踪包装 OpenAI API 的 Instructor 调用。

python

import instructor
from pydantic import BaseModel
from openai import OpenAI

# Use other autologging function e.g., mlflow.anthropic.autolog() if you are using Instructor with different LLM providers
mlflow.openai.autolog()

# Optional, create an experiment to store traces
mlflow.set_experiment("Instructor")


# Use Instructor as usual
class ExtractUser(BaseModel):
    name: str
    age: int


client = instructor.from_openai(OpenAI())

res = client.chat.completions.create(
    model="gpt-4o-mini",
    response_model=ExtractUser,
    messages=[{"role": "user", "content": "John Doe is 30 years old."}],
)
print(f"Name: {res.name}, Age:{res.age}")