跳到主要内容

使用跟踪

AI Gateway 使用情况追踪会将对端点的所有请求记录为追踪记录，使您可以监控请求量、延迟、错误、令牌（Token）消耗及成本。

启用使用情况追踪​

打开端点详情页面，滚动至底部的 使用情况追踪 (Usage Tracking) 部分。

  1. 开启 启用使用情况追踪 (Enable usage tracking) 开关。
  2. 点击 保存更改 (Save changes)。

Endpoint Configuration

使用情况仪表板​

在侧边栏中导航至 AI Gateway > 使用情况 (Usage)，或点击端点详情页面上的 使用情况 (Usage) 标签页。

Usage Dashboard

仪表板提供以下图表：

  • 请求数 (Requests) — 随时间变化的请求总数，包含日/小时平均值。
  • 延迟 (Latency) — 响应时间分布 (p50, p90, p99)。
  • 错误 (Errors) — 错误率和错误计数细分。
  • 令牌使用量 (Token Usage) — 随时间变化的输入和输出令牌数。
  • 单次请求令牌数 (Tokens per Request) — 每次请求的平均令牌消耗量。
  • 成本细分 (Cost Breakdown) — 按模型或提供商划分的成本分布。
  • 成本走势 (Cost Over Time) — 按模型或提供商划分的累计成本趋势。

注意：并非所有 LLM 提供商或模型都支持令牌使用量和成本指标。根据您的配置和 LiteLLM 定价，令牌和成本图表可能会显示为空或不可用。

筛选​

使用仪表板顶部的控件进行以下操作：

  • 端点 (Endpoint) — 查看所有端点或筛选特定端点。
  • 时间单位 (Time Unit) — 按小时、天或周进行聚合。
  • 时间范围 (Time Range) — 选择预设范围（过去 7 天、30 天等）或自定义范围。

端点级别的使用情况​

每个端点的详情页面也包含一个 使用情况 (Usage) 标签页，显示该端点特定的相同图表，并提供跳转至主要“使用情况”页面的 查看完整仪表板 (View full dashboard) 链接。

Endpoint Usage Tab