MLflow 3.8.0
·5分钟阅读
MLflow 3.8.0 包含多项主要功能更新和改进
主要功能
- ⚙️提示词模型配置:提示词现可包含模型配置,允许您将特定的模型设置与提示词模板相关联,从而实现更具可复现性的 LLM 工作流。(#18963, #19174, #19279, @chenmoneygithub)
- ⏳进行中的链路(Trace)显示:链路 UI 现支持通过自动轮询显示进行中的链路片段(Spans),支持对长时间运行的 LLM 应用进行实时调试和监控。(#19265, @B-Step62)
- ⚖️DeepEval 和 RAGAS 评估集成:新增
get_judgeAPI,支持将 DeepEval 和 RAGAS 评估指标作为 MLflow 评分器使用,可访问包括答案相关性、忠实度和幻觉检测在内的 20 多项评估指标。(#18988, @smoorjani, #19345, @SomtochiUmeh) - 🛡️对话安全评分器:新增内置评分器,用于评估多轮对话的安全性,分析整个对话历史中是否存在仇恨言论、骚扰、暴力及其他安全问题。(#19106, @joelrobin18)
- ⚡ 对话工具调用效率评分器:新增内置评分器,用于评估多轮智能体交互中的工具调用效率,检测冗余调用、缺失的批处理机会以及工具选择不当等问题。(#19245, @joelrobin18)
重要通知
- UI 遥测数据收集。从 MLflow 3.8.0 开始,MLflow 将收集关于 UI 交互的匿名数据,类似于我们为 Python SDK 收集的遥测数据。如果您管理自己的服务器,可以通过设置现有环境变量
MLFLOW_DISABLE_TELEMETRY=true或DO_NOT_TRACK=true自动禁用 UI 遥测。如果您不管理自己的服务器(例如您使用托管服务或不是管理员),您仍然可以通过 MLflow UI 中的新“设置”标签页个人选择退出。欲了解更多信息,请阅读关于 使用追踪 的文档。
功能特性:
- [跟踪] 添加默认密码短语支持 (#19360, @BenWilson2)
- [链路追踪] 支持 Pydantic AI 流式传输 (#19118, @joelrobin18)
- [文档] 弃用 AI Gateway 中的 Unity Catalog 函数集成 (#19457, @harupy)
- [跟踪] 为 mlflow experiments search 添加
--max-results选项 (#19359, @alkispoly-db) - [跟踪] 加强加密安全性 (#19253, @BenWilson2)
- [跟踪] 修复并简化 Gateway 存储接口 (#19346, @BenWilson2)
- [评估] 为 LLM Judges 添加 inference_params 支持 (#19152, @debu-sinha)
- [链路追踪] 支持将链路片段批量导出至 UC 表 (#19324, @B-Step62)
- [跟踪] 添加端点标签 (#19308, @BenWilson2)
- [文档 / 评估] 添加 MLFLOW_GENAI_EVAL_MAX_SCORER_WORKERS 以限制并发评分器执行数量 (#19248, @debu-sinha)
- [评估 / 跟踪] 在 Databricks 托管的 MLflow 中启用 search_datasets (#19254, @alkispoly-db)
- [提示词] 在 Markdown 中渲染文本提示词预览 (#19200, @ispoljari)
- [UI] 为链路搜索标签页添加关联提示词过滤器 (#19192, @TomeHirata)
- [评估] 当传递给 predict_fn 时自动包装异步函数 (#19249, @smoorjani)
- [评估] [3/6][内置评估器] 对话角色依从性 (#19247, @joelrobin18)
- [跟踪] [端点] [1/x] 为端点添加后端数据库表 (#19002, @BenWilson2)
- [跟踪] [端点] [3/x] 实体基础定义 (#19004, @BenWilson2)
- [跟踪] [端点] [4/x] 抽象存储接口 (#19005, @BenWilson2)
- [跟踪] [端点] [5/x] 端点的 SQL 存储后端 (#19006, @BenWilson2)
- [跟踪] [端点] [6/x] Protobuf 和实体接口 (#19007, @BenWilson2)
- [跟踪] [端点] [7/x] 添加 REST 存储实现 (#19008, @BenWilson2)
- [跟踪] [端点] [8/x] 添加凭据缓存 (#19014, @BenWilson2)
- [跟踪] [端点] [9/x] 添加提供程序、模型和配置处理 (#19009, @BenWilson2)
- [评估 / UI] 为评估运行图表视图添加显示/隐藏可见性控制 (#18797) (#18852, @pradpalnis)
- [跟踪] 添加 mlflow experiments get 命令 (#19097, @alkispoly-db)
- [服务器架构] [ Gateway 1/10 ] 使用 map 类型简化密钥和掩码密钥 (#19440, @BenWilson2)
错误修复:
- [链路追踪 / UI] 3.8 分支补丁:修复在链路比较中使用无效属性键导致的 GraphQL SearchRuns 过滤器错误 (#19526, @WeichenXu123)
- [评分 / 跟踪] 修复工件下载性能回归问题 (#19520, @copilot-swe-agent)
- [跟踪] 修复
_search_runs中数据集过滤器导致的 SQLAlchemy 别名冲突 (#19498, @fredericosantos) - [跟踪] 为 GraphQL 路由添加身份验证支持 (#19278, @BenWilson2)
- [] 修复 UC 函数执行中的 SQL 注入漏洞 (#19381, @harupy)
- [UI] 修复数据集架构表中 MultiIndex 列搜索崩溃的问题 (#19461, @copilot-swe-agent)
- [跟踪] 使数据源故障能够优雅地失败 (#19469, @BenWilson2)
- [链路追踪 / 跟踪] 修复 >= 1.78 版本的 litellm 自动记录(autolog)问题 (#19459, @harupy)
- [模型注册 / 跟踪] 修复模型注册表和作业存储中的 SQLAlchemy 引擎连接池泄漏问题 (#19386, @harupy)
- [UI] [Bug 修复] 链路追踪 UI:支持对具有多个值的评估进行过滤(例如错误和布尔值) (#19262, @dbczumar)
- [评估 / 链路追踪] 修复反馈中的错误初始化问题 (#19340, @alkispoly-db)
- [模型] 将 Sagemaker 的容器构建切换为子进程方式 (#19277, @BenWilson2)
- [评分] 修复 Strands 链路上的评分器问题 (#18835, @joelrobin18)
- [跟踪] 在仅工件模式下停止初始化后端存储 (#19167, @mprahl)
- [评估] 并行化多轮会话评估 (#19222, @AveshCSingh)
- [链路追踪] 为 pydantic_ai 添加安全属性捕获 (#19219, @BenWilson2)
- [模型注册] 修复从 UC 到 UC 复制的回归问题 (#19280, @BenWilson2)
- [跟踪] 修复工件路径遍历向量 (#19260, @BenWilson2)
- [UI] 修复系统指标上的权限控制问题 (#19283, @BenWilson2)
- [模型] 为 ChatModel 添加上下文加载功能 (#19250, @BenWilson2)
- [链路追踪] 修复 LangGraph 异步调用者的链路装饰器使用问题 (#19228, @BenWilson2)
- [跟踪] 更新 Docker Compose 以使用 --artifacts-destination 而非 --default-artifact-root (#19215, @B-Step62)
- [构建] 通过合并 README 指令减少 clint 错误消息的冗余 (#19155, @copilot-swe-agent)
文档更新:
- [文档] 添加有关正确性评分器的具体参考 (#19472, @BenWilson2)
- [文档] 添加关于流畅度(Fluency)评分器的文档 (#19481, @alkispoly-db)
- [文档] 更新评估快速入门指南,将所有代码放入脚本中 (#19444, @achen530)
- [文档] 添加关于知识保留(KnowledgeRetention)评分器的文档 (#19478, @alkispoly-db)
- [评估] 修复 deep-learning.mdx 中不可复现的代码示例 (#19376, @saumilyagupta)
- [文档 / 评估] 修复:有关
mlflow.genai.evaluate()的令人困惑的文档 (#19380, @brandonhawi) - [文档] 弃用 OpenAI 风格的模型记录 (#19325, @TomeHirata)
- [文档] 为文档中的视频元素添加圆角 (#19231, @copilot-swe-agent)
- [文档] 同步链路追踪快速入门文档中的 Python/TypeScript 标签页选择 (#19184, @copilot-swe-agent)
有关更改的完整列表,请查看 发布更新日志,并查看 mlflow.org 上的最新文档。
