1. AI应用可观测性的核心挑战在传统Web应用中我们通常关注QPS、延迟和错误率这三个黄金指标。但当场景切换到AI应用时这些指标突然变得不够用了。去年我在一个电商客服机器人项目中就深刻体会到了这一点——系统明明各项基础指标都正常但月底对账时却发现AI服务费用超出了预算三倍多。经过排查发现问题出在没有监控Token消耗量导致某个异常循环调用没有被及时发现缺乏模型响应质量评估部分低质量回答引发用户重复提问缺少全链路追踪当用户投诉回答慢时无法快速定位瓶颈点1.1 AI特有的监控维度与传统应用相比AI应用需要额外关注这些维度成本维度Token消耗量直接对应云服务费用不同模型的调用分布影响总体成本日/周/月成本趋势预测质量维度回答相关性评分需业务定制幻觉率可通过人工审核样本计算RAG检索命中率知识库覆盖率效能维度工具调用成功率影响Agent执行流式响应首字节时间TTFB上下文长度利用率1.2 Spring AI Alibaba的监控优势Spring AI Alibaba原生集成了可观测能力主要体现在自动收集Token使用指标gen_ai_client_token_usage内置Micrometer指标绑定支持OpenTelemetry链路追踪提供Request/Response拦截点这比直接调用阿里云DashScope API的优势在于指标采集无需额外编码与Spring生态无缝集成可结合业务指标做关联分析2. 基础监控环境搭建2.1 依赖配置!-- 监控核心依赖 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-actuator/artifactId /dependency dependency groupIdio.micrometer/groupId artifactIdmicrometer-registry-prometheus/artifactId /dependency dependency groupIdio.opentelemetry/groupId artifactIdopentelemetry-exporter-otlp/artifactId /dependency !-- Spring AI可观测模块 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-observability-autoconfigure/artifactId /dependency2.2 关键配置项management: endpoints: web: exposure: include: health,metrics,prometheus metrics: export: prometheus: enabled: true tags: application: ${spring.application.name} spring: ai: observability: enabled: true tracing: include-prompt: false # 生产环境建议关闭 include-completion: false重要提示include-prompt参数在生产环境务必设为false避免敏感信息泄露到追踪系统。我们曾在测试环境因此差点造成数据泄露事故。3. Token成本监控实战3.1 内置指标解析Spring AI自动暴露的Token指标gen_ai_client_token_usage_tokens_total{ ai_operation_namechat, gen_ai_response_modelqwen-turbo, gen_ai_token_typeinput }通过Prometheus可以计算:# 各模型每分钟Token消耗 sum by (gen_ai_response_model) ( rate(gen_ai_client_token_usage_tokens_total[1m]) ) # 输入输出Token比例 sum by (gen_ai_token_type) ( rate(gen_ai_client_token_usage_tokens_total[1h]) )3.2 成本计算增强内置指标缺少单价维度需要自定义Component public class TokenCostCalculator { private static final MapString, Double MODEL_PRICES Map.of( qwen-turbo, 0.008, // 元/千Token qwen-plus, 0.015, qwen-max, 0.12 ); MeterBinder public MeterRegistryCustomizer metrics() { return registry - { Gauge.builder(ai.cost.per_minute, this, calcMinuteCost) .register(registry); }; } private double calcMinuteCost() { // 从各指标计算实时成本 // 实际项目应考虑原子操作避免精度问题 } }3.3 成本告警规则# prometheus-rules.yml - alert: HighTokenUsage expr: | sum by (gen_ai_response_model) ( rate(gen_ai_client_token_usage_tokens_total[5m]) ) * 0.008 / 1000 50 # 每分钟费用超50元 for: 2m labels: severity: critical4. 全链路追踪实现4.1 OpenTelemetry配置management: tracing: sampling: probability: 0.1 # 生产环境采样率 otel: exporter: otlp: endpoint: http://jaeger:4317 resource: attributes: service.name: ai-gateway4.2 关键Span增强public class TracingAdvice implements RequestResponseAdvisor { Override public ChatResponse adviseResponse(ChatResponse response, MapString, Object context) { Span.current() .setAttribute(ai.model, response.getMetadata().getModel()) .setAttribute(ai.usage, response.getMetadata().getUsage()); return response; } }4.3 跨服务追踪对于RAG应用需要串联用户请求入口Span向量检索子SpanLLM调用子Span后处理步骤SpanSpan retrievalSpan tracer.spanBuilder(vector.search) .setParent(Context.current().with(span)) .startSpan(); try { // 检索操作 } finally { retrievalSpan.end(); }5. 生产环境最佳实践5.1 监控大盘设计推荐Grafana布局第一行QPS、延迟、错误率第二行Token消耗趋势、模型分布第三行RAG命中率、工具调用成功率第四行最近错误日志关键PromQL# 错误率计算 rate(gen_ai_client_operation_error_total[5m]) / rate(gen_ai_client_operation_duration_seconds_count[5m])5.2 安全防护要点日志脱敏public String desensitize(String text) { return text.replaceAll(\\b\\d{4}\\d{4}\\d{4}\\d{4}\\b, ***CARD***) .replaceAll(\\b1[3-9]\\d{9}\\b, ***PHONE***); }采样策略生产环境采样率建议10%错误请求100%采样高成本操作100%采样5.3 性能优化经验指标基数控制 避免在标签中使用高基数维度如用户ID会导致Prometheus压力过大。我们曾因在标签中记录完整Prompt导致监控系统崩溃。异步记录 耗时监控操作应异步化Async public void recordDetailedMetrics(ChatResponse response) { // 复杂指标计算 }分级监控基础指标15秒粒度业务指标1分钟粒度成本指标5分钟粒度6. 故障排查案例6.1 异常成本飙升现象凌晨3点Token消耗突然增长10倍但QPS没有明显变化排查过程检查各模型Token消耗分布sum by (gen_ai_response_model) ( rate(gen_ai_client_token_usage_tokens_total[1h]) )发现qwen-max模型使用量激增查询对应链路日志发现某个定时任务没有设置maxTokens参数导致生成长篇废话内容解决方案为所有调用添加maxTokens限制增加成本突变告警对长文本生成启用人工审核流程6.2 响应延迟毛刺现象每天上午10点出现延迟峰值P99延迟从2秒飙升到20秒排查工具使用Grafana热力图查看时间分布通过Jaeger筛选高延迟Trace发现共同特征都包含向量检索操作都查询相同的产品知识库根因知识库早高峰时段没有预热首次查询加载耗时优化方案添加定时预热任务实现缓存分级策略对知识库查询添加熔断机制7. 高级监控场景7.1 流式响应监控对于流式API需要特殊处理FluxChatResponse response chatClient.stream() .doOnNext(r - { metrics.recordChunk(r.getContent().length()); });关键指标首块到达时间平均块间隔流中断率7.2 RAG质量监控检索命中率sum(rag_hits_total) / sum(rag_queries_total)知识库覆盖率count(rag_embedding_versions)引用准确率需人工标注样本7.3 Agent运行监控对于ReAct等Agent架构tracer.spanBuilder(agent.cycle) .setAttribute(agent.steps, cycle.getSteps()) .setAttribute(agent.decision, cycle.getDecision()) .startSpan();关键指标平均决策步数工具调用成功率循环检测防止死循环8. 技术演进方向动态采样策略 根据业务重要性调整采样率关键业务路径100%采样智能基线告警 基于历史数据自动计算合理阈值替代固定值告警根因分析自动化 通过Trace和指标关联自动推测故障原因成本预测 基于当前用量预测周期费用提前预警预算风险在实际项目中落地这套监控体系后我们的AI服务运维效率提升了60%以上。最显著的变化是当业务方询问为什么AI最近响应慢了时我们现在可以5分钟内给出数据支撑的准确回答而不是像以前一样需要各种猜测和试错。