跳到主要内容

MLflow 3.10.0 亮点:多工作空间支持、多轮评估以及多项 UI 增强功能!

·5分钟阅读
MLflow maintainers
MLflow 维护者

MLflow 3.10.0 是一个重要版本,它增强了 MLflow 的 AI 可观测性和评估能力,并使这些功能对于新用户和大规模运营的组织而言更易于使用。此版本带来了多工作空间支持、聊天机器人对话的评估与模拟、追踪(trace)成本跟踪、AI 网关(AI Gateway)端点使用情况跟踪,以及一系列旨在使您的应用程序和智能体开发更加直观的 UI 增强功能。

1. MLflow Tracking Server 中的工作空间支持

MLflow 现在支持多工作空间环境。用户可以以更粗的粒度组织实验、模型和提示词,并在单个跟踪服务器中对其进行逻辑隔离。要启用此功能,请将 --enable-workspaces 标志传递给 mlflow server 命令,或将 MLFLOW_ENABLE_WORKSPACES 环境变量设置为 true

了解关于多工作空间支持的更多信息

2. 多轮评估与对话模拟

MLflow 现在支持多轮评估,包括使用会话级评分器(session-level scorers)评估现有对话,以及模拟对话以测试您的智能体新版本,而无需费力地重新生成对话。使用 MLflow 3.8.0 中引入的会话级评分器和全新的会话 UI 来评估您的对话智能体质量,并启用自动评分以在摄取追踪数据时监控质量。

了解关于多轮评估的更多信息

3. 追踪成本跟踪

洞察您的 LLM 支出!MLflow 现在可以自动从 LLM Span 中提取模型信息并计算成本,并配有一个新 UI,可直接在您的追踪视图中渲染模型和成本数据。此外,成本会在“概览”(Overview)选项卡中进行汇总和细分,让您深入了解 LLM 的支出模式。

了解关于追踪成本跟踪的更多信息

4. 导航栏重新设计

随着我们不断为 MLflow UI 添加更多功能,我们发现导航变得杂乱且难以掌控,不同工作流类型的功能区分不明显。我们重新设计了导航栏,使其更加直观易用,并引入了新的侧边栏,为 GenAI 应用程序开发、智能体开发以及经典模型训练工作流提供了更相关的选项卡。新的体验还为主要内容区域留出了更多空间,让用户能更专注于当前任务。

5. MLflow 演示实验

刚接触 MLflow GenAI?只需点击一下,即可启动一个预置了数据的演示,并探索LLM 追踪、评估和提示词管理的实际操作。无需配置,无需代码。此功能可在 MLflow UI 的主页上找到,全面展示了 MLflow 提供的各项不同功能。

通过点击上方视频中显示的按钮,或在终端运行 mlflow demo 即可开始。

6. 网关使用情况跟踪

通过详细的使用分析监控您的 AI 网关端点。一个新的“使用情况”(Usage)选项卡显示了请求模式和指标,并通过追踪摄取功能将网关调用与您的实验关联起来,实现端到端的 AI 可观测性。

要为您的 AI 网关端点开启此功能,请务必在端点设置中勾选“启用使用情况跟踪”(Enable usage tracking)开关,如上方视频所示。

了解关于网关使用情况跟踪的更多信息

7. UI 内追踪评估

直接从追踪和会话 UI 运行自定义或预置的 LLM 评判器(judges),无需代码!这使得在无需切换到 Python SDK 的情况下,即可快速评估单个追踪和会话。为了使用此功能,请务必设置 AI 网关端点,因为运行 LLM 评判器时需要选择一个端点。

完整更新日志

有关更改的完整列表,请参阅发布更新日志

后续规划

快速开始

安装 MLflow 3.10.0 以试用这些新功能

pip install mlflow==3.10.0

分享你的反馈

我们非常期待听到你对这些新功能的体验

了解更多