2023 年度回顾

凭借每月超过 1600 万次下载，MLflow 已成为全球领先的开源 MLOps 平台。这一成就凸显了 MLflow 的稳健性以及持续完善和改进它的活跃社区。

过去一年标志着 MLflow 的一个重要里程碑，尤其是在生成式 AI 领域。它对大型语言模型 (LLM) 的集成和支持表现出色。这一战略决策推动 MLflow 走在了 AI 革命的最前沿，将其确立为首要的生成式 AI 平台，使用户能够创建更智能、高效和适应性强的 AI 模型和应用程序。

2023：生成式 AI 和创新之年

去年对于 MLflow 来说是非凡的一年，尤其是在集成 LLM 和其他生成式 AI 工具方面。MLflow 通过为传统机器学习、深度学习和生成式 AI 应用程序提供统一平台和工作流程，实现了显著发展。这种集成确保了无与伦比的效率和创新。MLflow 致力于改进 LLM 支持，彻底改变了用户创建和监督 AI 工作流程的方式，使其成为构建高级机器学习应用程序不可或缺的工具。

与领先 AI 工具的集成

MLflow 已成功集成了对流行 AI 服务/框架（如 Hugging Face、LangChain 和 OpenAI）的支持，同时提供了用于打包、评估和部署它们的统一且与框架无关的接口。这些集成开启了 MLflow 用户的新视野，使他们能够在其 MLflow 工作流程中无缝利用这些高级 AI 工具的功能。

LLM 的模型打包

认识到 LLM 普及和效用的激增，MLflow 专注于增强对这些模型的打包支持。凭借 MLflow 针对 Hugging Face、LangChain 和 OpenAI 的新内置模型风格，用户可以在几分钟内记录和部署他们的 LLM 和生成式 AI 应用程序。

检索增强生成 (RAG) 和 MLflow 集成

检索增强生成 (RAG) 代表了自然语言处理中一种有影响力的方法。它将预训练模型与检索机制结合起来，以访问一个文档数据集，从而获取经过验证和整理的内容，而不是仅仅依赖纯粹的生成。这种方法显著提高了生成响应的上下文相关性和事实准确性。借助 mlflow.evaluate()，用户可以比较不同提示、模型、向量数据库等RAG系统。详情请参阅博客文章：“使用 MLflow 评估检索增强生成 (RAG) 系统”。

MLflow 2.9.0 中的 MLflow 部署服务器

MLflow 部署服务器简化了来自 OpenAI、MosaicML、Anthropic、Hugging Face、Cohere、MLflow 模型等各种提供商的 LLM 使用和管理。除了支持流行的 SaaS LLM 提供商外，MLflow 部署服务器还与 MLflow 模型服务集成，使用户能够在自己的服务基础设施中提供自己的 LLM 或微调基础模型。MLflow 部署服务器还提供跨不同提供商和服务的统一推理 API，使其更容易查询和组合它们。它使用集中存储的安全密钥，因此用户不再需要与组织中的每个成员共享敏感的 API 密钥。这简化了我们与语言模型的交互方式，为管理 API 密钥增加了一层额外的安全性。

MLflow 2.8.0 中增强的 MLflow Evaluate API

MLflow Evaluate API 进行了显著的功能增强，以更好地支持 LLM 工作流程并整合多种新的评估模式，包括支持 LLM-as-a-judge。此升级后的 API 能够对 LLM 性能进行更精细和彻底的分析。

MLflow 2.7.0 中的提示词工程 UI

MLflow 推出了 提示词工程 UI，这是一个专门为大型语言模型 (LLM) 中的高效提示词开发、测试和评估而设计的工具。这个用户友好的界面和全面的工具包显著提高了 LLM 工作流程中提示词工程的可访问性和效率。

社区发展与参与

2023 年推出的 MLflow 博客是 MLflow 网站的新增内容。这个新版块标志着在促进社区参与和促进 MLflow 生态系统内知识交流方面迈出了关键一步。该博客是分享有关新功能、改进和 MLflow 项目未来发展轨迹的直接途径。

MLflow 在 2023 年突破 45,000 名关注者！不仅如此，在 X 和 领英上，MLflow 的展示次数超过 100 万，即我们的内容向用户展示的次数。在 MLflow 贡献者增长方面，MLflow 贡献者数量在 2023 年从 530 人增长到 690 人。

MLflow 文档大修

我们已经开展了一项大规模的倡议，旨在重新构想用户与我们内容互动的方式。除了刷新外观和感觉之外，主要目标是增强清晰度、改善导航并为我们的社区提供更深入的资源。MLflow 文档的大修是一个重要的里程碑，但这仅仅是开始。我们有一个充满令人兴奋的更新、新内容和功能的路线图。无论是撰写教程、分享用例还是提供反馈，每项贡献都丰富了 MLflow 社区。

2023 年活动

MLflow 在两场重要活动中产生了重大影响：NeurIPS 2023 和 2023 年数据+AI 峰会。这些活动强调了 MLflow 致力于为机器学习和 AI 领域不断发展的讨论做出贡献，强调了其在塑造这些动态领域未来方面的关键作用。数据+AI 峰会于 2023 年 6 月举行，并设有多场 MLflow 相关会议。其中，有两场会议脱颖而出：

• 开源 LLM 工具的进步，包括 MLflow：探讨了 MLflow 与 Hugging Face、LangChain 和 OpenAI 等领先生成式 AI 工具的无缝集成。它强调了这些集成如何实现 AI 工作流程的轻松构建。
• 德克萨斯游骑兵队如何通过现代数据湖仓彻底改变棒球分析：全面深入地介绍了德克萨斯游骑兵棒球队如何利用 MLflow 和 Databricks 彻底改变他们的数据分析方法。

2023 年 12 月，MLflow 参加了在路易斯安那州新奥尔良举行的第 37 届年度神经信息处理系统会议 (NeurIPS)。NeurIPS 是机器学习和计算神经科学领域最负盛名的会议之一。对于那些寻求通用指令遵循大型语言模型微调指导的人来说，NeurIPS 上的会议 “LIMIT：指令调整在评估范式中的以少胜多” 提供了宝贵的见解。

保持联系

如果您有兴趣加入 MLflow 社区，我们很乐意与您联系！在 Slack、Google Groups 和 GitHub 上加入我们。我们有一个充满令人兴奋的更新、新内容和功能的路线图。无论是撰写教程、开发代码、分享用例还是提供反馈，让我们共同努力！您已经是 MLflow 贡献者了吗？新推出的 MLflow 大使计划是提升您参与度的好方法。作为 MLflow 大使，您将担任我们受人尊敬的全球大使之一，在推动 MLflow 在全球数据社区中的采用和提高意识方面发挥关键作用。我们邀请您在此提交申请。

展望未来

“2024 年，我们将启动新的计划，以参与、支持和扩大我们的社区。MLflow 很高兴今年通过战略合作和伙伴关系拓展视野，”Databricks 的软件工程师 Ben Wilson 说。“这种合作将为我们的用户带来新的机会，并为 MLflow 的发展做出重大贡献。请继续关注关于这项激动人心的工作的公告。”

2023 年是 MLflow 的变革之年。通过拥抱最新的 ML 和生成式 AI 进展，MLflow 改进了其平台，并为更广泛的 AI 和机器学习社区做出了重大贡献。我们向 MLflow 社区致以最深切的感谢。

过去一年，您在推动 MLflow 的成功方面发挥了举足轻重的作用。无论是增强现有功能、探索新集成还是分享您的专业知识，您的贡献都是 MLflow 社区的命脉。如果您有兴趣为 MLflow 做贡献，本指南是一个很好的起点。展望未来，我们对可以共同探索的无数可能性和新领域感到兴奋。

MLflow 有望继续其增长和创新之路，巩固其在管理整个生命周期内的机器学习和生成式 AI 工作流程方面的领导作用。我们渴望继续突破 AI 中可实现目标的界限，并努力创造一个创新、包容和开放的未来。