跳到主要内容

2023 年度回顾

·7分钟阅读
Carly Akerly
Carly Akerly
Linux基金会开源营销顾问

MLflow 每月下载量超过1600万次，已成为全球领先的开源 MLOps 平台。这一成就彰显了 MLflow 的强大功能以及不断优化和改进它的活跃社区。

过去一年是 MLflow 的一个重要里程碑，尤其是在生成式 AI 领域。其对大型语言模型 (LLM) 的集成和支持尤为突出。这一战略决策将 MLflow 推到了 AI 革命的最前沿，使其成为首屈一指的 GenAI 平台，使用户能够创建更智能、更高效、更具适应性的 AI 模型和应用程序。

16 Million Downloads!

2023 年：生成式 AI 和创新的年度​

去年对 MLflow 来说是意义非凡的一年，尤其是在集成 LLM 和其他生成式 AI 工具方面。通过为传统 ML、深度学习和 GenAI 应用提供统一的平台和工作流程，MLflow 得到了显著发展。这种集成确保了无与伦比的效率和创新。MLflow 在改进 LLM 支持方面的奉献精神彻底改变了用户创建和监督 AI 工作流程的方式，使其成为构建高级机器学习应用程序不可或缺的工具。

与领先 AI 工具的集成​

MLflow 已成功集成对 Hugging Face、LangChain 和 OpenAI 等流行 AI 服务/框架的支持，同时提供了一个统一且与框架无关的接口，用于打包、评估和部署它们。这些集成为了 MLflow 用户开辟了新的视野，使他们能够在 MLflow 工作流程中无缝利用这些先进 AI 工具的功能。

GenAI Integrations

LLM 模型打包​

认识到 LLM 的普及度和实用性的激增，MLflow 一直专注于增强对这些模型的打包支持。借助 MLflow 内置的 Hugging Face、LangChain 和 OpenAI 的新模型版本，用户可以在几分钟内记录和部署他们的 LLM 和生成式 AI 应用程序。

检索增强生成 (RAG) 与 MLflow 集成​

检索增强生成 (RAG) 代表了自然语言处理领域的一种有影响的方法。它将预训练模型与检索机制相结合，访问文档数据集，提取经过验证和精心策划的内容，而不是依赖纯粹的生成。这种方法显著提高了生成响应的上下文相关性和事实准确性。通过 mlflow.evaluate()，用户可以跨提示、模型、向量数据库等比较 RAG 系统。更多详情请参阅博文：“使用 MLflow 评估检索增强生成 (RAG) 系统”。

RAG with MLflow

MLflow 2.9.0 中的 MLflow 部署服务器​

MLflow 部署服务器简化了来自 OpenAI、MosaicML、Anthropic、Hugging Face、Cohere、MLflow 模型等各种提供商的 LLM 的使用和管理。除了支持流行的 SaaS LLM 提供商之外，MLflow 部署服务器还集成了 MLflow 模型服务，使用户能够在自己的服务基础设施中提供自己的 LLM 或微调的基准模型。MLflow 部署服务器还跨不同提供商和服务提供了统一的推理 API，使得查询和组合它们变得更加容易。它使用集中位置安全存储的密钥，因此用户不再需要与组织中的每个成员共享敏感的 API 密钥。这简化了我们与语言模型的交互方式，并增加了管理 API 密钥的额外安全层。

MLflow 2.8.0 中增强的 MLflow Evaluate API​

MLflow Evaluate API 进行了重大的功能增强，以更好地支持 LLM 工作流程，并纳入了多个新的评估模式，包括对 LLM 作为裁判的支持。这个升级的 API 能够对 LLM 性能进行更精细、更全面的分析。

MLflow 2.7.0 中的 Prompt Engineering UI​

MLflow 推出了 Prompt Engineering UI，这是一个专门为大型语言模型 (LLM) 的高效提示开发、测试和评估而设计的工具。这个用户友好的界面和全面的工具包显著提高了 LLM 工作流程中提示工程的可访问性和效率。

Prompt Engineering UI

社区增长与参与​

MLflow 博客于 2023 年在 MLflow 网站上推出，这是一项新 additions。这个新版块标志着在促进社区参与和加强 MLflow 生态系统内的知识交流方面迈出了重要一步。该博客是分享新功能、改进和 MLflow 项目未来发展方向的直接渠道。

MLflow 在 2023 年关注者突破 45,000！不仅如此，在 X 和 LinkedIn 上，MLflow 的内容获得了超过 100 万次展示（用户看到我们内容的次数）。在 MLflow 贡献者方面，MLflow 贡献者数量从 2023 年的 530 人增长到 690 人。

MLflow 文档大修​

我们进行了一项大规模的倡议，以重新构想用户与我们内容交互的方式。主要目标是提高清晰度、改进导航并为我们的社区提供更深入的资源，同时更新外观和感觉。MLflow 文档的大修是一个重要的里程碑，但这只是一个开始。我们有一份包含令人兴奋的更新、新内容和功能的路线图。无论是编写教程、分享用例还是提供反馈，每一次贡献都丰富了 MLflow 社区。

Docs Overhaul

2023 年活动​

MLflow 在两场重要活动中留下了深刻的印记：NeurIPS 2023 和 Data+AI Summit 2023。这些活动强调了 MLflow 为机器学习和 AI 不断发展的讨论做出贡献的承诺，并突显了其在塑造这些充满活力的领域的未来方面的关键作用。Data+AI Summit 于 2023 年 6 月举行，举办了多场与 MLflow 相关的会议。其中，有两个会议尤为突出

Big Data Baseball

2023 年 12 月，MLflow 参加了在新奥尔良举行（LA）的第 37 届年度神经信息处理系统会议 (NeurIPS)。NeurIPS 是机器学习和计算神经科学领域最负盛名的会议之一。对于那些寻求关于为通用指令遵循进行微调大型语言模型的指导的人来说，NeurIPS 上题为“LIMIT：跨评估范式的指令调整，少即是多”的会议提供了宝贵的见解。

保持联系​

如果您有兴趣加入 MLflow 社区，我们非常乐意与您联系！请加入我们的 Slack、Google Groups 和 GitHub。我们有一份包含令人兴奋的更新、新内容和功能的路线图。无论是编写教程、开发代码、分享用例还是提供反馈，让我们一起努力！您已经是 MLflow 贡献者了吗？新推出的 MLflow 大使计划是提升您参与度的绝佳方式。作为 MLflow 大使，您将是我们尊贵的全球大使之一，在推动 MLflow 在全球数据社区中的采用和提高其知名度方面发挥关键作用。我们邀请您在此提交申请。

Ambassador Program

展望未来​

“2024 年，我们将推出新的计划来吸引、支持和扩展我们的社区。MLflow 很高兴今年通过战略合作和伙伴关系拓宽视野”，Databricks 软件工程师 Ben Wilson 表示。“这种合作将为我们的用户带来新的机会，并为 MLflow 的发展做出重大贡献。请继续关注关于这项激动人心的努力的公告。”

2023 年对 MLflow 来说是转型的一年。通过拥抱最新的 ML 和 GenAI 进步，MLflow 改进了其平台，并为更广泛的 AI 和机器学习社区做出了巨大贡献。对于我们的 MLflow 社区，我们表示最诚挚的感谢。

在过去一年中，您在推动 MLflow 的成功方面发挥了不可或缺的作用。无论是增强现有功能、探索新集成还是分享您的专业知识，您的贡献都是 MLflow 社区的生命线。如果您有兴趣为 MLflow 做贡献，本指南是一个很好的起点。展望未来，我们对我们可以共同探索的无数可能性和新领域感到兴奋。

MLflow 有望继续其增长和创新之路，巩固其作为管理整个生命周期机器学习和 GenAI 工作流的领导者的地位。我们热切希望不断突破 AI 领域可实现目标的界限，并努力创造一个创新、包容和开放的未来。