LLM / GenAI

LLM（大型语言模型）已成为机器学习中不可或缺的一部分，能够实现自然语言理解和代码生成等任务。然而，充分发挥其潜力通常涉及管理诸多要素的复杂过程，例如提示、LLM 提供商、框架、知识库、工具等等。

展开查看更多关于 LLM / GenAI 开发中的关键挑战

复合 AI 系统中的复杂性

LLM 通常是更大、更复杂的 AI 系统的重要组成部分，这些系统集成了多个模型、工具、提示和其他组件。随着自主代理的兴起，系统的控制流变得更加动态和复杂。有效管理此类系统需要明确定义的流程和专用工具来处理其错综复杂性。

快速发展的行业

GenAI 行业发展迅速，新模型、新工具和新库每天都在涌现。跟踪版本和管理依赖项对于维护 AI 系统的稳定性和可重现性至关重要。

下图展示了一些流行的 GenAI 库（LangChain 和 OpenAI）的发布频率，与经典机器学习和深度学习相比，其发布频率更高。如果不跟踪版本和依赖项，维护 AI 系统的稳定性和可重现性可能会很困难。

调试挑战

由于这些系统的复合性质以及许多框架中高度的抽象性，调试基于 LLM 的应用程序尤其困难。如果没有合适的工具和技术，清晰地了解 LLM 及其交互组件的行为可能是一项艰巨的任务。

质量保证

确保机器学习系统的质量一直是一个挑战。对于 LLM，模型的复杂性和任务的动态性使得评估和保证质量变得更加困难。强大的 QA 流程对于确保可靠性和性能至关重要。

生产监控

随着基于 LLM 的应用程序变得更加动态，部署后监控其性能对于业务成功越来越重要。与传统软件监控不同，机器学习监控需要专用工具来实时跟踪模型行为和性能。

MLflow 对 LLM 的支持旨在通过引入一套为最终用户设计的功能和工具来缓解这些挑战。

为何选择 MLflow？

• 🪽 免费且开源 - MLflow 是开源且免费的。避免供应商锁定，并在您选择的基础设施上保护您的 ML 资产。您可以投资于最关键的业务目标，而无需担心 MLOps 平台的成本。

• 🛠️ 原生云集成 - MLflow 不仅支持自托管，还在 Amazon SageMaker、Azure ML、Databricks 等平台上提供托管服务。这使您能够快速入门并在现有云基础设施内轻松扩展。

• 🤝 支持 15+ GenAI 框架 - MLflow 集成了十多个 GenAI 库，包括 OpenAI、LangChain、LlamaIndex、DSPy 等。这使您可以灵活地为您的用例选择合适的工具。

• 🔄 端到端 - MLflow 旨在管理端到端的机器学习生命周期，消除了管理多个工具和在它们之间移动资产的复杂性。

• 🌍 领域无关 - 现实世界的问题并非总是单独由 GenAI 解决。MLflow 为管理传统机器学习、深度学习和 GenAI 模型提供了一个统一的平台，使其成为满足您所有 ML 需求的多功能工具。

• 👥 社区 - MLflow 拥有一个充满活力的开源社区，是 Linux 基金会的一部分。凭借 19,000+ GitHub Star 和每月 1500 万+ 次下载，MLflow 是 MLOps/LLMOps 生态系统中值得信赖的标准。

MLflow 如何解决 LLMOps 挑战

MLflow 提供了一套全面的工具和功能，以简化 LLM 的开发、部署和管理。以下是一些使 MLflow 成为 LLM 开发首选平台的关键特性

实验跟踪

实验跟踪是 MLflow 平台的核心基本功能，使您能够在 LLM/GenAI 项目期间将模型、提示、跟踪、指标等众多资产和工件组织在一个地方。➡︎ 了解更多

实验跟踪的主要优势

• 单一事实来源：MLflow 作为存储和管理所有 LLM 资产（包括模型、提示和跟踪）的集中位置，确保您的项目具有单一事实来源。

• 更好的协作：实验跟踪使您可以与团队成员分享您的工作，让他们能够重现您的结果并提供反馈。

• 血缘跟踪：MLflow 捕获您的 LLM 资产在项目不同阶段的血缘关系，使您能够跟踪模型、提示和其他工件的血缘关系。

• 比较分析：MLflow 使您能够比较您的 LLM 模型、提示和其他资产的不同版本，帮助您做出明智的决策并提高 LLM 应用程序的质量。

• 治理与合规性：借助组织中的机器学习资产中心仓库，MLflow 帮助您维护治理和合规性标准，确保您的重要资产仅供授权用户访问。

跟踪 / 可观测性

MLflow Tracing 通过捕获 LLM 调用和其他重要细节（如文档检索、数据查询和工具调用），确保 GenAI 应用程序中的 LLM 可观测性，使您能够监控并深入了解应用程序的内部工作原理。➡︎ 了解更多

MLflow Tracing 的主要优势

• 调试：跟踪提供了抽象层下方发生情况的详细视图，帮助您快速识别和解决 LLM 应用程序中的问题。通过与 Jupyter Notebook 的原生集成，MLflow 提供了无缝的调试体验。

• 检查质量：使用 MLflow Evaluation 评估模型或代理后，您可以分析自动生成的跟踪，以了解 LLM 的行为并做出明智的决策。

• 生产监控：跟踪对于监控生产环境中 LLM 的性能至关重要。MLflow Tracing 使您能够识别生产中的瓶颈和性能问题，从而采取纠正措施并持续优化您的应用程序。

• OpenTelemetry：MLflow Traces 与 OpenTelemetry 兼容，OpenTelemetry 是一种行业标准的可观测性框架，使您能够与 Prometheus、Grafana 和 Jaeger 等流行的可观测性工具集成，进行高级监控和分析。

• 框架支持：MLflow Tracing 支持 15+ GenAI 库，包括 OpenAI、LangChain、LlamaIndex、DSPy、Anthropic、Amazon Bedrock 等。只需添加一行代码，您就可以开始跟踪使用这些库构建的 LLM 应用程序。

模型打包

MLflow 的模型打包使您能够管理 GenAI 系统的移动部分，包括提示、LLM 参数、微调权重以及冻结的依赖版本。这使您能够以高度的可重现性管理实验。

MLflow 中模型打包的主要优势

• 可重现性：MLflow 确保在模型打包过程中捕获并冻结所有依赖项，从而确保您的模型可以在不同环境中一致地重现。

• 版本控制：MLflow 模型在生产部署之前会被版本化并注册到 MLflow Model Registry，使您能够轻松跟踪快速发展的模型和资产。

• 原生支持常用软件包：为保存、日志记录和管理推理配置等任务提供标准化接口。

• 统一的预测 API：MLflow 模型可以作为便捷的 PyFunc 封装器加载，该封装器无论底层库是什么，都暴露一个一致的 predict() API。这简化了 GenAI 系统的评估、部署和生产使用过程。

• 模型签名：MLflow 的模型签名功能允许您定义模型的输入、可选参数和输出 Schema 以及附加参数，从而更易于理解如何与模型交互并与他人共享。

MLflow 为模型打包提供了与主要 GenAI 库的原生集成。您最喜欢的库不在下面的列表中吗？没关系，您可以使用 MLflow 的 PythonModel 框架打包任意模型/代理。点击下方图标了解每个集成的更多信息。

使用 PythonModel / ChatModel 进行自定义打包

评估

MLflow 的 LLM 评估旨在简化评估过程，提供一种流线型方法来比较基础模型、提示和复合 AI 系统。➡︎ 了解更多

MLflow LLM 评估的主要优势

• 简化评估：利用 MLflow 的 mlflow.evaluate() API 和内置工具，轻松测试您的 GenAI 模型。

• LLM 作为评判者：MLflow 提供内置的 LLM 作为评判者指标，并为评判 LLM 提供商提供灵活的配置，使您能够将复杂的评估标准纳入自动化评估过程并进行批量评估。

• 可定制指标：除了提供的指标之外，MLflow 支持插件式的自定义评分，增强了评估的灵活性。

• 比较分析：轻松比较基础模型、提供商和提示，做出明智的决策。

• 深入洞察：评估运行会自动生成跟踪，使您能够更深入地了解评估结果，并自信地解决质量问题。

模型服务

MLflow 模型打包后，可以轻松部署到不同的目标，包括 Kubernetes 集群、云提供商（Amazon SageMaker、Azure Machine Learning）、Databricks 以及任何基于 Docker 容器的服务基础设施。➡︎ 了解更多

MLflow 模型服务的主要优势

• 轻松部署：MLflow 提供了简单的接口，用于将模型部署到各种目标，无需编写样板代码。
• 依赖项和环境管理：MLflow 确保部署环境与训练环境一致，捕获所有依赖项。这保证了模型无论部署在哪里都能一致运行。
• 模型和代码打包：使用 MLflow，不仅模型，还有所有补充代码和配置都与部署容器一起打包。这确保了模型可以无缝执行，不会缺少任何组件。
• 避免供应商锁定：MLflow 提供标准化的模型打包格式和统一的部署 API。您可以轻松切换部署目标，而无需重写代码。

提示工程 UI

MLflow 提示工程 UI 是一个无代码平台，用于为 LLM 设计和优化提示，并与 MLflow 的跟踪和评估框架集成。➡︎ 了解更多

MLflow 提示工程 UI 的主要优势

• 迭代开发：简化试错流程，避免压倒性的复杂性。

• 基于 UI 的原型设计：无需深入编写代码即可进行提示的原型设计、迭代和优化。

• 易于使用的工程：使提示工程更加用户友好，加快实验速度。

• 优化的配置：快速确定问答或文档摘要等任务的最佳模型配置。

• 透明跟踪：详细跟踪每次模型迭代和配置。确保开发过程的可重现性和透明度。

MLflow AI Gateway

作为统一接口，MLflow AI Gateway 简化了与多个 LLM 提供商以及您自己的 MLflow 模型的交互。➡︎ 了解更多

MLflow AI Gateway 的主要优势

• 统一端点：无需在多个提供商 API 之间来回切换。

• 简化集成：一次设置，无需重复复杂的集成。

• 安全凭据管理：集中存储防止 API 密钥分散。无需硬编码或用户处理密钥。

• 一致的 API 体验：跨所有提供商提供统一、易于使用的 REST API。

• 无缝提供商切换：无需触碰代码即可切换提供商，零停机。