跳到主要内容

追踪 Groq

Groq tracing via autolog

MLflow Tracing 在使用 Groq 时提供了自动追踪功能。当通过调用 mlflow.groq.autolog() 函数启用 Groq 自动追踪时，Groq SDK 的使用将在交互式开发过程中自动记录生成的追踪数据。

请注意，仅支持同步调用，异步 API 和流式传输方法不会被追踪。

示例用法​

import groq

import mlflow

# Turn on auto tracing for Groq by calling mlflow.groq.autolog()
mlflow.groq.autolog()

client = groq.Groq()

# Use the create method to create new message
message = client.chat.completions.create(
    model="llama3-8b-8192",
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of low latency LLMs.",
        }
    ],
)

print(message.choices[0].message.content)

禁用自动跟踪​

Groq 的自动追踪可以通过调用 mlflow.groq.autolog(disable=True) 或 mlflow.autolog(disable=True) 在全局范围内禁用。