最近在尝试将最新的 AI 模型集成到云端工作流时发现很多开发者对如何将前沿的闭源模型部署到企业级平台感到困惑。特别是像 Grok 这类模型其官方渠道有限但在特定场景下又极具潜力。本文将围绕如何将 Grok 4.6 模型接入 Google Cloud 的 Vertex AI 平台提供一个从概念理解到实战部署的完整闭环方案。无论你是想体验最新模型能力的学生还是需要在企业项目中集成特定 AI 服务的开发者都能从本文中找到可复现的配置步骤、核心代码以及关键的避坑指南。我们将重点解析模型接入的原理、Vertex AI 的配置逻辑并提供一个模拟真实调用的示例流程。1. 背景与核心概念为什么选择 Vertex AI 托管 AI 模型在深入部署之前我们需要厘清几个关键概念理解为什么这个组合方案值得关注。Grok 模型通常指由 xAI 公司开发的一系列大型语言模型。它因其在对话、推理和代码生成方面的表现而受到社区关注。需要注意的是Grok 并非开源模型其官方访问通常有特定限制。社区中出现的“Grok 4.6”、“Grok Build”等词汇多指通过非官方渠道或特定方式尝试访问或模拟其 API 的行为。本文的实践基于一个核心前提我们假设你已通过某种合规方式获得了模拟 Grok 4.6 模型能力的 API 端点或访问权限并希望将其集成到更稳定、可扩展的企业级云平台中。Google Cloud Vertex AI这是 Google Cloud 提供的统一机器学习平台。它不是一个单一的模型而是一个“平台即服务”PaaS。开发者可以在这个平台上完成从数据准备、模型训练、模型评估到模型部署和服务的全生命周期管理。其核心优势在于模型托管支持托管自定义训练模型、预训练模型如 TensorFlow, PyTorch, scikit-learn 模型以及通过自定义容器方式托管几乎任何运行时环境的模型。统一端点为部署的模型提供一个稳定的 HTTPS 端点自动处理负载均衡、扩缩容和监控。企业级特性内置了版本控制、流量拆分A/B测试、解释性分析、流水线编排等功能。结合的价值将 Grok 这类模型部署到 Vertex AI本质上是利用 Vertex AI 强大的自定义容器预测功能。我们创建一个 Docker 容器这个容器内包含了调用 Grok API 所需的所有代码和环境。然后将这个容器镜像托管在 Google Container Registry (GCR) 上最后通过 Vertex AI 模型服务将其部署为一个在线预测端点。这样做的好处是标准化与可维护性将模型服务封装成容器与环境解耦便于版本管理和持续集成/持续部署 (CI/CD)。生产就绪直接获得 Vertex AI 提供的自动扩缩容、监控日志、身份认证IAM等生产级功能无需从零搭建服务架构。安全与合规调用过程在 Google Cloud 内部网络进行可以更好地管理密钥、减少公网暴露风险并符合企业安全规范。简单来说我们的目标不是“在 Vertex AI 上运行 Grok 的权重文件”因为模型本身可能不开放而是在 Vertex AI 上构建一个稳定、安全的“代理服务”该服务代表你的应用去与 Grok 的 API 进行交互。2. 环境准备与版本说明在开始动手之前请确保你已准备好以下环境。本文的示例将基于一个通用的 Python 环境进行构建。基础环境要求操作系统任何可以运行 Docker 和 gcloud CLI 的系统如 Linux (Ubuntu 20.04)、macOS 或 Windows Subsystem for Linux (WSL2)。本文命令以 Linux/macOS 的 bash 环境为例。编程语言Python 3.9 或 3.10。这是构建容器内应用和客户端示例的主要语言。关键工具Docker用于构建和测试自定义容器镜像。确保 Docker 守护进程正在运行。Google Cloud SDK (gcloud)用于与 Google Cloud 服务交互。请确保已安装并初始化 (gcloud init)并设置好默认的项目和区域。Python 包管理工具pip。Google Cloud 项目与服务启用创建一个 Google Cloud 项目或使用现有项目。记下你的PROJECT_ID。在 Google Cloud Console 中为你的项目启用以下 APIVertex AI API (aiplatform.googleapis.com)Container Registry API (containerregistry.googleapis.com) 或 Artifact Registry API (artifactregistry.googleapis.com)推荐使用更新的 Artifact Registry。Cloud Build API (cloudbuild.googleapis.com)可选用于云上构建镜像。版本说明与灵活性本文的核心是方法论的演示不依赖于某个固定不变的 Grok API 版本。因此文中涉及的“Grok 4.6”是一个代称用于指代你需要接入的那个特定模型服务。所有代码和配置的重点在于展示如何构建一个兼容 Vertex AI 自定义容器规范的“适配器”。你需要根据实际可用的 API 文档如请求格式、认证方式来调整代码中的具体细节。3. 核心原理与架构拆解理解整个流程的架构是成功部署和后续排错的关键。下图展示了从客户端请求到获得 Grok 响应的完整数据流[客户端应用] --(1) HTTPS 请求-- [Vertex AI 预测端点] | v (2) 路由与负载均衡 [Vertex AI 预测服务] | v (3) 调用自定义容器 [你的自定义容器 (运行在 Vertex AI 上)] |-- (4) 接收标准化请求 |-- (5) 转换并调用外部 Grok API |-- (6) 接收响应并转换格式 |-- (7) 返回标准化响应 | v (8) [客户端应用] -- HTTPS 响应 --关键组件详解自定义容器规范Vertex AI 要求自定义容器必须提供一个 HTTP 服务器监听8080端口并实现两个特定的路由GET /health用于健康检查必须返回200状态码。POST /predict用于处理预测请求。请求体和响应体必须是 JSON 格式。Vertex AI 会将预测请求转发到这个路由。请求/响应格式适配这是最核心的部分。Vertex AI 的/predict端点期望一个固定的 JSON 结构。你的容器需要接收Vertex AI 格式的请求通常包含一个instances数组。解析其中的数据例如提取用户输入的文本。转换成目标 Grok API 所要求的格式可能是不同的 JSON 结构并需要添加 API 密钥等认证信息。调用Grok 的外部 HTTPS 端点这步发生在你的容器内部通过互联网或 VPC 对等连接访问。接收Grok 的响应提取出需要的部分如生成的文本。包装成 Vertex AI 格式的响应一个包含predictions数组的 JSON并返回。认证与安全如何安全地管理 Grok API 的密钥或其他凭证至关重要。最佳实践是使用 Google Cloud 的Secret Manager。在创建 Vertex AI 模型版本时可以将 Secret Manager 中的密钥以环境变量的形式注入到容器中避免将密钥硬编码在代码或镜像里。容器镜像仓库构建好的 Docker 镜像需要推送到 Google Cloud 的镜像仓库Container Registry 或 Artifact Registry这样 Vertex AI 才能拉取并部署它。4. 完整实战案例构建并部署 Grok 代理服务接下来我们将一步步完成一个可工作的示例。假设我们模拟的 Grok API 接受一个简单的 JSON{“prompt”: “你的问题”}并返回{“response”: “生成的答案”}。4.1 创建项目结构首先在本地创建一个项目目录。mkdir vertexai-grok-proxy cd vertexai-grok-proxy目录结构如下vertexai-grok-proxy/ ├── app/ │ ├── main.py # FastAPI 应用主文件 │ ├── requirements.txt # Python 依赖 │ └── grok_client.py # 封装调用外部 Grok API 的逻辑 ├── Dockerfile # 容器构建定义 └── cloudbuild.yaml # 可选Cloud Build 配置文件4.2 编写应用代码1. 定义依赖 (app/requirements.txt)我们使用 FastAPI 来快速构建 HTTP 服务器因为它轻量且异步支持好。fastapi0.104.1 uvicorn[standard]0.24.0 httpx0.25.1 pydantic2.5.0 google-cloud-secret-manager2.16.22. 封装 Grok 客户端 (app/grok_client.py)这个模块负责与外部 Grok API 通信。注意GROK_API_KEY应从环境变量读取。# app/grok_client.py import os import httpx from typing import Optional import logging logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) class GrokClient: def __init__(self): # 从环境变量获取配置这些将在部署时由 Secret Manager 注入 self.api_key os.getenv(GROK_API_KEY) self.api_base_url os.getenv(GROK_API_BASE_URL, https://api.example-grok.com/v1) # 替换为你的 API 地址 if not self.api_key: raise ValueError(GROK_API_KEY environment variable is not set.) self.client httpx.AsyncClient(timeout30.0) self.headers { Authorization: fBearer {self.api_key}, Content-Type: application/json } async def generate_response(self, prompt: str) - Optional[str]: 调用模拟的 Grok API 生成回复 request_payload { prompt: prompt, # 可以根据实际 API 文档添加更多参数如 max_tokens, temperature 等 max_tokens: 500, temperature: 0.7 } endpoint f{self.api_base_url}/chat/completions # 示例端点需替换 try: logger.info(fSending request to {endpoint}) response await self.client.post( endpoint, jsonrequest_payload, headersself.headers ) response.raise_for_status() # 检查 HTTP 错误 result response.json() # 解析响应这里需要根据实际 API 响应结构调整 # 假设返回格式为 {choices: [{message: {content: ...}}]} generated_text result.get(choices, [{}])[0].get(message, {}).get(content, ) # 或者如果是 {response: ...} 格式 # generated_text result.get(response, ) return generated_text.strip() except httpx.HTTPStatusError as e: logger.error(fHTTP error occurred: {e.response.status_code} - {e.response.text}) return None except Exception as e: logger.error(fError calling Grok API: {e}) return None async def close(self): await self.client.aclose()3. 创建 FastAPI 应用 (app/main.py)这是容器的核心实现了 Vertex AI 要求的/health和/predict端点。# app/main.py from fastapi import FastAPI, Request, HTTPException from pydantic import BaseModel from typing import List, Any import logging from grok_client import GrokClient import asyncio app FastAPI(titleGrok Proxy for Vertex AI) grok_client None # 定义 Vertex AI 预测请求/响应的数据模型 class PredictionInstance(BaseModel): # 这里定义你的输入特征。例如我们只接收一个文本 prompt。 # Vertex AI 会将请求中的 instances 列表里的每个元素映射到这个模型。 prompt: str class PredictionRequest(BaseModel): instances: List[PredictionInstance] class PredictionResponse(BaseModel): predictions: List[Any] # 预测结果可以是任何 JSON 可序列化类型 app.on_event(startup) async def startup_event(): 应用启动时初始化 Grok 客户端 global grok_client try: grok_client GrokClient() logging.info(Grok client initialized successfully.) except Exception as e: logging.error(fFailed to initialize Grok client: {e}) raise app.on_event(shutdown) async def shutdown_event(): 应用关闭时清理资源 if grok_client: await grok_client.close() app.get(/health) async def health_check(): 健康检查端点Vertex AI 会定期调用 # 可以添加更复杂的健康检查逻辑例如检查 Grok API 连通性 if grok_client is None: raise HTTPException(status_code503, detailGrok client not ready) return {status: healthy} app.post(/predict) async def predict(request: PredictionRequest): 核心预测端点处理 Vertex AI 转发来的请求 if grok_client is None: raise HTTPException(status_code503, detailService unavailable) predictions [] # 遍历请求中的所有实例instances for instance in request.instances: user_prompt instance.prompt if not user_prompt: predictions.append({error: Empty prompt}) continue # 调用 Grok 客户端生成回复 generated_text await grok_client.generate_response(user_prompt) if generated_text is None: predictions.append({error: Failed to get response from Grok API}) else: # 将结果按照 Vertex AI 响应格式包装 # 这里返回一个字典可以根据需要包含更多字段 predictions.append({generated_text: generated_text}) return PredictionResponse(predictionspredictions) if __name__ __main__: import uvicorn # Vertex AI 自定义容器要求监听 0.0.0.0:8080 uvicorn.run(app, host0.0.0.0, port8080)4.3 构建 Docker 镜像创建Dockerfile来定义容器环境。# Dockerfile # 使用官方 Python 精简镜像 FROM python:3.10-slim # 设置工作目录 WORKDIR /app # 复制依赖文件并安装 COPY app/requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制应用代码 COPY app/ . # 暴露 Vertex AI 要求的端口 EXPOSE 8080 # 设置环境变量生产环境密钥通过 Secret Manager 注入此处仅为默认值 ENV GROK_API_KEY ENV GROK_API_BASE_URLhttps://api.example-grok.com/v1 # 启动命令 CMD [python, main.py]在项目根目录下构建 Docker 镜像并测试。# 构建镜像 docker build -t grok-vertexai-proxy:latest . # 在本地运行测试需要先设置环境变量 export GROK_API_KEYyour_dummy_key_for_test docker run -p 8080:8080 -e GROK_API_KEY$GROK_API_KEY grok-vertexai-proxy:latest打开另一个终端测试健康检查和预测端点。# 测试健康检查 curl http://localhost:8080/health # 测试预测端点 (使用 Vertex AI 兼容的 JSON 格式) curl -X POST http://localhost:8080/predict \ -H Content-Type: application/json \ -d { instances: [ {prompt: 请用 Python 写一个快速排序函数。}, {prompt: 解释一下量子计算的基本原理。} ] }如果本地测试成功你会看到返回的 JSON 结构其中包含predictions数组。4.4 推送镜像到 Google Artifact Registry首先在 Google Cloud 上创建一个 Artifact Registry 仓库如果尚未创建。# 设置项目ID和区域 export PROJECT_IDyour-google-cloud-project-id export REGIONus-central1 # 例如 us-central1 export REPOSITORYvertexai-models # 创建 Docker 仓库如果不存在 gcloud artifacts repositories create $REPOSITORY \ --repository-formatdocker \ --location$REGION \ --descriptionDocker repository for Vertex AI models # 配置 Docker 认证 gcloud auth configure-docker $REGION-docker.pkg.dev然后标记本地镜像并推送到仓库。# 标记镜像 docker tag grok-vertexai-proxy:latest \ $REGION-docker.pkg.dev/$PROJECT_ID/$REPOSITORY/grok-proxy:latest # 推送镜像 docker push $REGION-docker.pkg.dev/$PROJECT_ID/$REPOSITORY/grok-proxy:latest4.5 在 Vertex AI 上部署模型1. 将 Grok API 密钥存入 Secret Manager这是安全存储密钥的最佳实践。# 创建密钥将 your_actual_grok_api_key 替换为真实密钥 echo -n your_actual_grok_api_key | gcloud secrets create GROK_API_KEY \ --data-file- \ --replication-policyautomatic # 授予 Vertex AI 服务账号访问权限 # 首先找到默认的 Compute Engine 服务账号 export SERVICE_ACCOUNT$(gcloud iam service-accounts list --filterdisplayName:Compute Engine default service account --formatvalue(email)) gcloud secrets add-iam-policy-binding GROK_API_KEY \ --memberserviceAccount:$SERVICE_ACCOUNT \ --roleroles/secretmanager.secretAccessor2. 创建 Vertex AI 模型我们需要先创建一个模型资源然后为其创建一个使用自定义容器的版本。# 创建模型如果不存在 gcloud ai models upload \ --region$REGION \ --display-namegrok-proxy-model \ --container-image-uri$REGION-docker.pkg.dev/$PROJECT_ID/$REPOSITORY/grok-proxy:latest \ --container-ports8080 \ --container-health-route/health \ --container-predict-route/predict \ --container-env-varsGROK_API_KEYprojects/$PROJECT_ID/secrets/GROK_API_KEY/versions/latest,GROK_API_BASE_URLhttps://your-real-grok-api.com/v1关键参数解释--container-image-uri指定我们推送到 Artifact Registry 的镜像地址。--container-ports指定容器暴露的端口必须为8080。--container-health-route和--container-predict-route告诉 Vertex AI 健康检查和预测的路径。--container-env-vars设置环境变量。注意GROK_API_KEY的值它使用了 Secret Manager 的引用格式projects/PROJECT_ID/secrets/SECRET_NAME/versions/latest。Vertex AI 在启动容器时会自动从 Secret Manager 拉取密钥并注入。GROK_API_BASE_URL这里直接写入了真实地址。3. 部署模型到端点创建一个端点Endpoint并将模型部署上去。# 创建端点 gcloud ai endpoints create \ --region$REGION \ --display-namegrok-proxy-endpoint # 获取刚创建的端点ID ENDPOINT_ID$(gcloud ai endpoints list --region$REGION --filterdisplay_namegrok-proxy-endpoint --formatvalue(name) | awk -F/ {print $NF}) # 获取刚上传的模型ID MODEL_ID$(gcloud ai models list --region$REGION --filterdisplay_namegrok-proxy-model --formatvalue(name) | awk -F/ {print $NF}) # 将模型部署到端点 gcloud ai endpoints deploy-model $ENDPOINT_ID \ --region$REGION \ --model$MODEL_ID \ --display-namegrok-proxy-deployment \ --machine-typen1-standard-4 \ # 根据负载选择机型 --min-replica-count1 \ --max-replica-count2 \ --traffic-split0100 # 100%流量路由到这个部署部署完成后Vertex AI 会提供一个预测端点 URL。4.6 调用部署的模型部署成功后你可以通过 Vertex AI 的客户端库或直接发送 HTTP 请求来调用模型。使用 Python 客户端库示例# test_vertexai.py from google.cloud import aiplatform import json # 初始化 Vertex AI aiplatform.init(projectyour-google-cloud-project-id, locationus-central1) # 获取端点 endpoint aiplatform.Endpoint( endpoint_nameprojects/your-project/locations/us-central1/endpoints/your-endpoint-id ) # 准备请求数据格式必须与容器中定义的 PredictionRequest 匹配 instances [ {prompt: 请写一首关于秋天的诗。}, {prompt: 如何学习机器学习} ] # 发起预测 response endpoint.predict(instancesinstances) print(json.dumps(response.predictions, indent2, ensure_asciiFalse))使用 curl 命令直接调用端点首先你需要认证并获取访问令牌。# 获取访问令牌 ACCESS_TOKEN$(gcloud auth print-access-token) # 使用 curl 调用替换 YOUR_ENDPOINT_ID 和 PROJECT_ID curl -X POST \ -H Authorization: Bearer $ACCESS_TOKEN \ -H Content-Type: application/json \ https://us-central1-aiplatform.googleapis.com/v1/projects/$PROJECT_ID/locations/us-central1/endpoints/YOUR_ENDPOINT_ID:predict \ -d { instances: [ {prompt: Hello, how are you?} ] }5. 常见问题与排查思路在部署和运行过程中你可能会遇到以下问题。这里提供一个排查清单。问题现象可能原因排查步骤与解决方案容器构建失败Dockerfile 语法错误或requirements.txt中的包不存在。1. 检查 Dockerfile 每一条命令。2. 在本地运行docker build查看详细错误日志。3. 确保requirements.txt中的包名和版本正确。本地容器运行正常但推送到 Vertex AI 后部署失败1. 镜像 URI 错误或权限不足。2. 容器不满足 Vertex AI 规范如端口、健康检查。3. 环境变量注入失败特别是 Secret Manager。1. 确认镜像 URI 完全正确且当前服务账号有拉取镜像的权限 (Artifact Registry Reader)。2. 确保容器内应用监听0.0.0.0:8080且/health返回 200。3. 检查 Secret Manager 中密钥是否存在且 Vertex AI 服务账号有访问权限。查看模型部署日志。健康检查 (/health) 失败1. 应用启动失败如缺少环境变量。2./health路由未正确实现或返回非 200 状态码。1. 查看容器日志 (gcloud ai models list --regionREGION找到模型查看日志)。2. 在本地用相同环境变量运行容器测试/health端点。预测请求返回 404 或 5031. 端点 URL 错误。2. 模型未成功部署到端点。3. 所有副本均不健康。1. 核对端点 ID 和区域。2. 在 Cloud Console 的 Vertex AI - 端点页面确认部署状态为“已部署”。3. 检查模型版本的健康状态和容器日志。预测请求超时或响应慢1. 容器实例冷启动。2. 外部 Grok API 响应慢。3. 配置的机器类型性能不足。1. 设置min-replica-count1保持至少一个常驻实例。2. 在grok_client.py中调整httpx超时时间并优化外部 API 调用逻辑。3. 考虑升级机器类型如n1-standard-8。从 Vertex AI 收到响应但内容为空或错误1. 容器内/predict路由逻辑错误。2. 对外部 Grok API 的请求格式或解析逻辑错误。3. Grok API 本身返回错误。1. 在容器日志中查找应用打印的日志确认请求是否进入/predict以及 Grok 客户端的调用情况。2. 对比本地测试和云端部署的环境变量特别是 API Base URL是否一致。3. 模拟容器内的逻辑单独测试grok_client.py的generate_response方法。“Permission denied” 关于 Secret ManagerVertex AI 使用的服务账号没有secretmanager.secretAccessor角色。按照 4.5 节步骤确保已正确绑定权限。命令中的服务账号邮箱必须准确。通用排查命令# 查看模型列表及其状态 gcloud ai models list --region$REGION # 查看特定模型的详细信息 gcloud ai models describe $MODEL_ID --region$REGION # 查看端点列表 gcloud ai endpoints list --region$REGION # 查看端点上的部署信息 gcloud ai endpoints describe $ENDPOINT_ID --region$REGION # 在 Cloud Console 查看日志更直观 # 访问 Google Cloud Console - Logging - Logs Explorer # 使用以下查询查看容器日志 # resource.type”aiplatform.googleapis.com/Model” # resource.labels.model_id”YOUR_MODEL_ID” # 或者查看预测请求日志 # resource.type”aiplatform.googleapis.com/Endpoint” # resource.labels.endpoint_id”YOUR_ENDPOINT_ID”6. 最佳实践与工程建议将外部模型服务托管到 Vertex AI 不仅仅是让 API 可调用更要考虑生产环境的稳定性、安全性和成本。1. 安全与认证永远不要硬编码密钥始终坚持使用 Secret Manager。本文示例展示了如何通过环境变量引用 Secret。最小权限原则仅授予 Vertex AI 服务账号访问特定 Secret 的权限不要使用过宽的权限如Project Editor。网络隔离如果 Grok API 部署在另一个云或本地考虑使用VPC 网络对等连接或Cloud Interconnect来建立私有连接避免数据通过公网传输。对于公网 API确保使用 HTTPS。请求审计在容器应用内记录重要的预测请求元数据如请求 ID、时间戳、输入长度并输出到结构化日志如 JSON便于通过 Cloud Logging 进行分析和审计。2. 性能与可靠性设置合理的超时与重试在grok_client.py中为httpx.AsyncClient配置连接超时、读超时和写超时。对于瞬态故障可以实现简单的重试逻辑注意使用指数退避。实现熔断机制如果外部 API 持续失败可以考虑引入熔断器如pybreaker库暂时停止对外部服务的请求防止级联故障。优化容器镜像使用python:3.10-slim等小型基础镜像在 Dockerfile 中合并 RUN 指令以减少镜像层清理 apt 或 pip 缓存以加快镜像拉取和启动速度。合理配置扩缩容根据监控指标如 QPS、CPU 利用率、请求延迟调整min-replica-count和max-replica-count。对于有明显波峰波谷的服务可以配置基于指标的自动扩缩容。3. 可观测性与监控利用 Vertex AI 内置监控在 Cloud Console 的 Vertex AI 端点页面可以查看请求数量、延迟、错误率等基本指标。自定义指标在容器应用内可以使用 OpenCensus 或 OpenTelemetry 客户端库将自定义业务指标如调用外部 API 的延迟、不同 prompt 类型的计数发送到 Cloud Monitoring。结构化日志如前所述使用 JSON 格式记录日志并包含清晰的 severity、operation id 等字段方便在 Logs Explorer 中筛选和创建基于日志的指标。4. 版本管理与灰度发布容器镜像标签化不要总是使用:latest。为每次构建打上语义化版本标签如:v1.0.1并在 Vertex AI 模型版本中明确指定。使用 Vertex AI 的流量拆分当需要升级模型版本时可以部署一个新版本然后通过--traffic-split参数将少量流量如 10%路由到新版本进行测试验证无误后再逐步增加流量直至完全切换。模型回滚如果新版本出现问题可以立即将流量 100% 切回旧版本。5. 成本优化选择合适的机器类型根据模型容器的 CPU/内存需求选择最经济的机器类型。可以从n1-standard-2开始测试根据监控数据调整。设置最小副本数为 0如果服务只在工作时间使用可以考虑将min-replica-count设置为 0并配置基于 QPS 的自动扩缩容在无流量时缩容到零以节省成本。但要注意冷启动带来的延迟。定期审查日志和监控关闭不再使用的端点和模型删除旧的、无用的容器镜像以避免不必要的存储费用。通过以上步骤和最佳实践你不仅能够将 Grok 或其他类似的外部 AI 模型成功接入 Google Cloud Vertex AI还能构建出一个符合生产要求的、稳健且可扩展的 AI 服务代理。这套方法具有通用性稍加修改即可用于集成其他任何提供 HTTP API 的第三方模型或服务。