大模型后端上线清单SSE、显存配额与并发队列大模型后端比普通 HTTP 服务多了流式连接、显存配额和请求队列三类约束。上线前应逐项验证断连、排队上限和 OOM 降级而不是把 Web 服务模板原样复制过来。问题现象与排查入口大模型后端接入流量后优先检查两个常见边界第一个现象前端只间歇收到成块文本没有逐段流式更新。先检查代理缓冲与连接刷新策略再看模型本身的输出速度。如果应用端持续写入 SSE而客户端仍成批收到数据应检查 Nginx 的proxy_buffering、响应头与压缩配置。缓冲行为取决于配置和实际响应不要凭一个固定包大小下结论。第二个现象Serving 容器启动正常但在并发打入 50 个请求后容器突然崩溃重启日志中留下一行CUDA Out of Memory。原因是 vLLM 默认的gpu_memory_utilization设置为 0.90但未对 PyTorch 的 CUDACachingAllocator 环境变量进行隔离并发增加引发的 KV Cache 扩展很快超出了显存上限。生产部署拓扑与 Kubernetes Manifest 治理为了支撑高并发下的稳定吐字与显存隔离生产环境的 Pod 部署 YAML 应进行硬性参数锁定。以下 Kubernetes Deployment 只展示配置位置资源值和探针参数要由目标集群测试决定apiVersion: apps/v1 kind: Deployment metadata: name: vllm-inference-backend namespace: ai-serving labels: app: vllm-inference spec: replicas: 4 selector: matchLabels: app: vllm-inference template: metadata: labels: app: vllm-inference spec: containers: - name: vllm-container image: vllm/vllm-openai:v0.4.2 imagePullPolicy: IfNotPresent env: # 优化 PyTorch 显存碎片率 - name: PYTORCH_CUDA_ALLOC_CONF value: max_split_size_mb:512 # 控制 OpenMP 线程争抢 - name: OMP_NUM_THREADS value: 8 args: - --model - /models/Qwen2.5-72B-Instruct-AWQ - --port - 8000 - --gpu-memory-utilization - 0.85 # 留出 15% 显存给动态 Context Tensor 计算 - --max-model-len - 8192 - --max-num-seqs - 256 # 物理限制最大并发序列数超出部分在 Engine 内部排队 resources: limits: nvidia.com/gpu: 2 # 绑定 2 张物理 GPU memory: 64Gi cpu: 16 requests: nvidia.com/gpu: 2 memory: 32Gi cpu: 8 ports: - containerPort: 8000 readinessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 60 # 给模型权重加载留出预热时间 periodSeconds: 10流量入口 Ingress/Nginx 关键配置收口需要流式输出的路由应关闭不必要的代理缓冲并单独验证普通 JSON 路由避免全局修改影响其他接口。微服务架构入口 Nginx 的应配置片段# /etc/nginx/conf.d/ai_stream.conf upstream vllm_backend_cluster { server 10.244.1.15:8000 max_fails3 fail_timeout10s; server 10.244.2.20:8000 max_fails3 fail_timeout10s; keepalive 64; # 保持长连接池避免频繁 TCP 三次握手 } server { listen 80; server_name ai-api.example.com; location /v1/chat/completions { proxy_pass http://vllm_backend_cluster; # 核心设置 1禁用响应缓冲实现真正的 SSE 实时吐字 proxy_buffering off; proxy_cache off; # 核心设置 2调整 HTTP 协议版本为 1.1 并清除 Connection 头以支持 Keep-Alive proxy_http_version 1.1; proxy_set_header Connection ; # 核心设置 3大幅延长流式响应超时时间防止长文本生成过程中断 proxy_read_timeout 600s; proxy_send_timeout 600s; # 核心设置 4关闭 chunked 传输转换透传后端分块 chunked_transfer_encoding on; } }上线前必备检查清单 (Pre-Flight Checklist)在大模型后端底座上线部署前务必逐一核对以下五项物理配置检查维度配置检查项未配置的后果与风险显存治理记录实际配置高并发上下文拉长时触发CUDA OOM崩溃网关流式Nginxproxy_buffering off;且禁用 Gzip响应 Chunk 卡在网关 Buffer首字延时 (TTFT) 极长超时时间记录实际配置记录故障注入结果序列并发vLLM 设定--max-num-seqs明确限制引擎并发无限制打入请求导致 KV Cache 抖动拖垮整台卡存活探针记录实际配置记录故障注入结果总结大模型应用后端底座的性能表现三成取决于模型算力七成取决于基础设施的工程治理。部署前明确网关 Buffer、读超时、显存预算与并发序列上限可以降低流式阻塞和 OOM 风险是否满足目标负载仍要用相同输入长度与并发分布验证。