编码智能体与长期运行智能体
MLflow AI Gateway 支持流行的 AI 编码智能体,如 Claude Code、OpenAI Codex 和 Gemini CLI,以及诸如 Hermes Agent 等长运行智能体运行时。
编码智能体和长运行智能体运行时在每个会话中可能会进行数十次甚至数百次 LLM 调用,通常在自主运行较长时间的同时还要调用工具并管理自身状态。如果没有可见性或管控措施,很容易失去对它们的操作监控,无法掌握其支出情况,也难以判断它们是否符合贵组织的政策要求。将这些智能体通过网关进行路由,可为您的团队提供三项关键功能:
可观测性
每个请求都会自动捕获为 MLflow 追踪记录,无需修改任何代码,即可全面掌握输入、输出、Token 计数和延迟情况。
了解使用情况追踪 →
预算控制
设置全局或每个工作区的支出限额,以防止成本失控。通过配置警报和强制上限,确保编码智能体会话始终在预算范围内。
了解预算警报与限额 →
护栏机制
对所有编码智能体请求强制执行内容政策。屏蔽敏感主题,编辑 PII(个人身份信息),并确保响应符合贵组织的标准。
了解护栏机制 →

