LLM 游乐场
LLM 实验场 (LLM Playground) 是一个浏览器内的聊天界面，用于测试 MLflow AI 网关端点以及来自 MLflow 提示词注册表的提示词，无需编写任何代码。您可以在 MLflow UI 的单个页面中迭代系统消息、调整采样参数、附加工具、请求结构化输出以及回放多轮对话。
多轮对话
撰写系统、用户和助手消息。提交的回复会被追加到对话中，以便下一轮对话携带完整的上下文。
采样参数
针对每次请求调整温度 (temperature)、最大 Token 数 (max_tokens)、top_p、top_k、存在/频率惩罚 (presence/frequency penalties) 以及停止序列 (stop sequences)。留空字段则使用提供商的默认值。
工具
提供工具定义并选择工具选择策略（自动或必需），以测试函数调用行为。
结构化输出
将响应限制为纯文本、自由格式的 JSON 对象或您粘贴的严格 JSON 模式。
模板变量
在任何消息中使用 {{ variable }} 占位符。输入到“变量”抽屉中的值会在提交时进行替换，且模板在后续运行中可重复使用。
提示词注册表
一键将任何已注册的提示词版本加载到对话中。存储的模型配置（模型、温度、max_tokens、响应格式）会自动应用。
前提条件
在使用实验场之前，您需要一个 AI 网关聊天端点。请按照创建和管理端点进行注册。实验场会向 /gateway/mlflow/v1/chat/completions 路由提交请求。
快速入门
- 打开 MLflow UI 左侧边栏中的 Playground 条目（URL 路径为
/playground）。 - 点击顶部栏的 Select an endpoint（选择端点）下拉菜单，选择一个聊天端点。
- 在用户输入框中输入消息。使用消息上的角色下拉菜单将其切换为
system（系统）或assistant（助手），并使用添加/删除按钮来增加更多轮次。 - 点击 Submit（提交）。如果有任何必要条件缺失（没有端点、空消息、未填充的变量或无效的 JSON 设置），提交按钮将被禁用，悬停时会显示具体的缺失项列表。
- 成功后，助手的回复会被追加到对话中，并添加一个新的空用户消息用于下一轮对话。再次提交以继续对话。
- 点击 Clear conversation（清除对话）将聊天重置为单条空用户消息。
如果请求失败，会出现一个内联错误提醒，显示 HTTP 状态和网关返回的响应正文。
设置
参数、工具和响应格式位于顶部栏的 Settings（设置）抽屉中。
参数
每个字段都是可选的。未设置的字段将从请求中省略，因此会应用提供商的默认值。
| 参数 | 类型 | 备注 |
|---|---|---|
temperature（温度） | 浮点数 | 采样温度。较高的值会使输出更具随机性。 |
max_tokens（最大 Token 数） | int | 响应中生成的最大 Token 数。 |
top_p | 浮点数 | 核采样概率质量。 |
top_k | int | Top-k 采样截止值。 |
presence_penalty（存在惩罚） | 浮点数 | 惩罚上下文中已存在的 Token。 |
frequency_penalty（频率惩罚） | 浮点数 | 根据 Token 到目前为止出现的频率进行惩罚。 |
stop（停止） | list[str] | 停止生成的序列。 |
并非每个提供商都接受所有参数。提供商无法理解的值会在内联提醒中显示为请求错误。
工具
Tools（工具）部分接受一个工具定义的 JSON 数组以及一个 tool choice（工具选择）策略：
- None（默认）— 工具不会随请求发送。
- Auto — 模型决定是否调用工具。
- Required — 模型必须调用提供的工具之一。
当 tool choice 为 Auto 或 Required 时，至少需要一个有效的工具定义。在 JSON 解析为非空数组之前，提交按钮将保持禁用状态，并显示“添加至少一个工具定义”或“修正工具 JSON”的提示。
响应格式
Response format（响应格式）部分提供三种结构化输出模式：
- Text（文本）— 自然语言输出（默认）。
- JSON — 模型返回有效的 JSON。作为
response_format: { type: "json_object" }发送。 - JSON schema（JSON 模式）— 模型输出符合您粘贴到编辑器中的模式。实验场将其提交为
response_format: { type: "json_schema", json_schema: { name: "response_schema", schema: <your schema>, strict: true } }。
JSON 模式模式需要一个有效的 JSON 对象。空模式或格式错误的模式会阻止提交，并会在内联显示解析器错误。
变量
任何消息都可以包含 {{ variable }} 占位符。实验场会在每次按键时扫描每条消息，并在 Variables（变量）抽屉中显示检测到的变量。为每个变量输入值。值在提交时进行替换，而消息模板本身保持不变以便重复使用。
在每个检测到的变量都有非空值之前，提交操作会被阻止。
从提示词注册表加载提示词
点击顶部栏的 Load prompt from registry（从注册表加载提示词）以从 提示词注册表中注册的提示词中进行选择。
- 聊天类型提示词：填充完整的对话，包含其系统/用户/助手轮次。
- 文本类型提示词：作为单个用户消息加载。
- 如果提示词版本具有存储的 模型配置，则会同时应用匹配的采样参数和响应格式设置。Toast 提示会确认
Loaded <name> v<version> with settings（已加载 <名称> v<版本> 及相关设置）。