跳到主要内容

AI 网关配置

为 MLflow AI 网关配置提供商、端点和高级设置。

提供商配置​

使用这些 YAML 示例配置不同 LLM 提供商的端点

endpoints:
  - name: gpt4-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY
        openai_api_base: https://api.openai.com/v1  # Optional
        openai_organization: your_org_id  # Optional

环境变量​

将 API 密钥存储为环境变量以确保安全

# OpenAI
export OPENAI_API_KEY=sk-...

# Azure OpenAI
export AZURE_OPENAI_API_KEY=your-azure-key
export AZURE_OPENAI_ENDPOINT=https://your-resource.openai.azure.com/

# Anthropic
export ANTHROPIC_API_KEY=sk-ant-...

# AWS Bedrock
export AWS_ACCESS_KEY_ID=AKIA...
export AWS_SECRET_ACCESS_KEY=...
export AWS_REGION=us-east-1

# Cohere
export COHERE_API_KEY=...

高级配置​

速率限制​

配置每个端点的速率限制

endpoints:
  - name: rate-limited-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY
    limit:
      renewal_period: minute
      calls: 100  # max calls per renewal period

模型参数​

设置默认模型参数

endpoints:
  - name: configured-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY
        temperature: 0.7
        max_tokens: 1000
        top_p: 0.9

多个端点​

为不同用例配置多个端点

endpoints:
  # Fast, cost-effective endpoint
  - name: fast-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-3.5-turbo
      config:
        openai_api_key: $OPENAI_API_KEY

  # High-quality endpoint
  - name: quality-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY

  # Embeddings endpoint
  - name: embeddings
    endpoint_type: llm/v1/embeddings
    model:
      provider: openai
      name: text-embedding-ada-002
      config:
        openai_api_key: $OPENAI_API_KEY

动态配置更新​

AI 网关支持无需服务器重启的热重载配置。只需更新您的 config.yaml 文件，更改就会自动检测到。

安全最佳实践​

API 密钥管理​

  1. 切勿将 API 密钥提交到版本控制
  2. 使用环境变量存储所有敏感凭据
  3. 定期轮换密钥并更新环境变量
  4. 为开发和生产使用不同的密钥

网络安全​

  1. 在生产环境中使用带有正确 TLS 证书的 HTTPS
  2. 实施身份验证和授权层
  3. 配置防火墙以限制对网关的访问
  4. 监控和记录所有网关请求以用于审计追踪

配置安全​

# Secure configuration example
endpoints:
  - name: production-chat
    endpoint_type: llm/v1/chat
    model:
      provider: openai
      name: gpt-4
      config:
        openai_api_key: $OPENAI_API_KEY  # From environment
    limit:
      renewal_period: minute
      calls: 1000

后续步骤​

现在您的提供商已配置完毕，了解如何使用和集成您的网关

使用指南

使用 Python 客户端和 REST API 查询端点

开始使用 →

集成指南

与应用程序、框架和生产系统集成

了解集成 →

教程

包含示例的分步演练

遵循教程 →