MLflow 2.10.0
MLflow 2.10.0 包含多项重要功能和改进!
在 MLflow 2.10 中,我们引入了多项重要的全新功能,为当前和未来的深度学习用例增强支持奠定基础,推出新功能以支持更广泛的 GenAI 应用,并对 MLflow Deployments Server(以前称为 AI Gateway)进行了一些质量改进。
全新 MLflow 网站
我们有了全新的 主页。新网站的着陆页焕然一新,现代感十足,内容比以往任何时候都丰富。我们一直在不断添加新内容和博客。
模型签名支持对象和数组(#9936,@serena-ruan)
对象和数组现在可用作可配置的输入和输出模式元素。这些新类型对于以 GenAI 为中心的模型特别有用,因为它们可以具有复杂的输入和输出类型。请参阅新的 签名和输入示例文档,了解更多关于如何使用这些新签名类型的信息。
Langchain 自动日志记录(#10801,@serena-ruan)
LangChain 现在支持自动日志记录!当您调用一个链(chain)且启用了自动日志记录时,我们将自动记录大多数链的实现,为您记录和存储配置的 LLM 应用。请参阅新的 Langchain 文档,了解更多关于如何使用此功能的信息。
Transformers 模型的提示模板
MLflow 的 transformers 模型现在支持提示模板。您现在可以为 GenAI 管道指定一组特定于应用程序的指令,以简化、优化并集成一套系统提示,这些提示将与每个输入请求一起提供。请查看更新的 transformers 指南,了解更多信息和示例!
MLflow Deployments Server 增强
MLflow Deployments Server 现在支持两个新的请求功能:(1)支持流式响应的 OpenAI 端点。您现在可以配置一个端点,为 Chat 和 Completions 返回实时响应,而不是等待整个文本内容完成。(2)现在可以为每个端点设置速率限制,以帮助控制使用 SaaS 模型时的成本超支。
进一步改进文档
我们继续努力改进文档、指南、教程和示例,扩展了 MLflow 的核心功能(Deployments、Signatures 和 Model Dependency management),并为 GenAI 模型添加了全新的页面。立即查看!
其他功能:
- [模型] 增强 MLflow Models
predictAPI,作为环境兼容性的预日志记录验证器。(#10759,@B-Step62) - [模型] 在 transformers 模型中添加对图像分类管道的支持(#10538,@KonakanchiSwathi)
- [模型] 添加对 Transformers 模型许可证文件的检索和存储的支持(#10871,@BenWilson2)
- [模型] 添加对 JohnSnowLabs 模型在 Visual NLP 格式中进行模型序列化的支持(#10603,@C-K-Loan)
- [模型] 自动将 OpenAI 输入消息转换为 LangChain 聊天消息,用于
pyfuncpredict(#10758,@dbczumar) - [跟踪] 通过确保对
Futures对象调用 flush 来增强异步日志记录功能(#10715,@chenmoneygithub) - [跟踪] 为
login()API 添加非交互式模式支持(#10623,@henxing) - [评分] 允许 MLflow 模型服务支持直接的
dict输入,并带有messages键(#10742,@daniellok-db,@B-Step62) - [部署] 为 MLflow Deployments Server 添加流式传输支持,兼容 OpenAI 流式返回的路由(#10765,@gabrielfu)
- [部署] 添加对通过 MLflow Deployments Server 直接与 OpenAI 交互的支持(#10473,@prithvikannan)
- [UI] 为 MLflow UI 引入多项新功能(#10864,@daniellok-db)
- [Server-infra] 添加一个环境变量,可以禁止 HTTP 重定向(#10655,@daniellok-db)
- [Artifacts] 为 Azure Blob Storage 添加对分块上传的支持(#10531,@gabrielfu)
Bug 修复
- [模型] 为 MLflow 模型的 pip requirements 和 extras 处理添加去重逻辑(#10778,@BenWilson2)
- [模型] 添加对 paddle 2.6.0 版本发布的支持(#10757,@WeichenXu123)
- [跟踪] 修复 urllib3 1.x 的错误重试默认超时问题(#10839,@BenWilson2)
- [Recipes] 修复 MLflow Recipes 卡片显示格式问题(#10893,@WeichenXu123)
- [Java] 修复在某些 Spark 版本中使用 Delta 作为源时,对流式源(Streaming Sources)进行元数据收集时出现的问题(#10729,@daniellok-db)
- [评分] 修复 SageMaker 标签未能正确传播的问题(#9310,@clarkh-ncino)
- [Windows / Databricks] 修复在 Windows 环境中执行 Databricks 运行命令时出现的问题(#10811,@wolpl)
- [模型 / Databricks] 由于存在不稳定问题,禁用 JohnSnowLabs 模型的
mlflowdbfs挂载(#9872,@C-K-Loan)
文档更新:
- [文档] 修复了快速入门指南中的
KeyError: 'loss'bug(#10886,@yanmxa) - [文档] 迁移和补充模型签名和输入示例文档(#10838,@BenWilson2)
- [文档] 将 HuggingFace 模型评估笔记本添加到网站(#10789,@BenWilson2)
- [文档] 重写了运行搜索(search run)文档(#10863,@chenmoneygithub)
- [文档] 创建了 Transformers 提示模板的文档(#10836,@daniellok-db)
- [文档] 重构了“入门”(Getting Started)页面(#10798,@BenWilson2)
- [文档] 添加了模型依赖管理指南(#10807,@B-Step62)
- [文档] 添加了 LangChain 的教程和指南(#10770,@BenWilson2)
- [文档] 重构了深度学习文档着陆页的部分内容(#10736,@chenmoneygithub)
- [文档] 重构和全面更新了部署文档,并添加了新教程(#10726,@B-Step62)
- [文档] 添加了 PyTorch 着陆页、快速入门和指南(#10687,#10737 @chenmoneygithub)
- [文档] 向 OpenAI 模型文档添加了附加教程(#10700,@BenWilson2)
- [文档] 增强了 MLflow 快速入门指南,演示了如何使用 Databricks Community Edition(#10663,@BenWilson2)
- [文档] 创建了 OpenAI 模型着陆页和入门笔记本(#10622,@BenWilson2)
- [文档] 重构了 Tensorflow 模型 API 文档(#10662,@chenmoneygithub)
有关更改的完整列表,请参阅 发布更改日志,并查看 mlflow.org 上的最新文档。
