作者唐俊星一个支持 Human-In-The-Loop人机协同与持续自我改进的 AI 工作流方案概述SRE Alert Copilot 基于 Elastic Stack 构建将告警触发、上下文预处理、AI 智能分析与人工反馈闭环串联起来帮助 SRE 团队更快定位问题、沉淀运维知识并持续优化分析质量。核心能力自动化分析告警触发后自动拉取日志、指标、链路追踪等上下文由 AI Agent 给出初步根因判断与处置建议人机协同关键决策节点引入人工审核避免 AI 误判直接执行高风险操作自我改进人工反馈作为训练信号持续优化 Agent 指令、工具配置与知识库内容架构总览通过驳回 / 修正告警触发预处理AI Agent 分析人工审核执行处置 / 关闭告警反馈入库优化 Agent / 知识库组件说明Elasticsearch存储日志、指标、告警事件与向量知识库AI Connector提供 Embedding 与 LLMDeepSeek推理能力Agent Builder定义 Alert Copilot Agent 及其工具集Elastic Workflows编排 Human-In-The-Loop 自动化流程Kibana告警规则、可视化、工作流与 Agent 管理界面实施步骤1. 在 Alibaba Cloud 创建 Elasticsearch在阿里云上部署 Elastic Stack 集群作为 SRE Alert Copilot 的数据与 AI 运行时底座。建议配置选择Elastic Cloud on Alibaba Cloud或自管 ECKElastic Cloud on Kubernetes部署方式启用以下功能模块ObservabilityAPM、Logs、Metrics、UptimeAlerting告警规则与 ConnectorAgent Builder自定义 AI AgentWorkflows事件驱动自动化编排规划节点规格数据节点承载日志与指标索引ML / Inference 节点可选若使用本地推理模型Kibana 节点工作流与 Agent 管理入口配置网络与安全VPC 内网访问或专线打通启用 TLS、角色权限RBAC与 API Key 管理参考文档Deploy ElasticsearchElastic Observability2. 在 ES 配置 Embedding 与 DeepSeek 两个 AI Connector参考文档如何为阿里云ElasticSearch创建AI workflow并写入数据Inference APIsElastic Inference Service3. 导入文档创建 Agent Tool将运维知识沉淀为 Agent 可调用的工具是提升分析准确率的关键步骤。3.1 导入知识文档整理以下类型的文档服务架构说明告警 Runbook / 应急预案历史故障复盘报告常见错误码与排查手册将文档导入 Elasticsearch并建立向量索引使用 Embedding Connector 生成dense_vector字段可通过 Kibana 的Search → Connectors或 Ingest Pipeline 完成文档切片与向量化3.2 创建 Agent Tool在 Agent Builder 中创建自定义工具供 Alert Copilot Agent 调用工具类型用途示例ESQL 查询工具索引搜索工具检索历史相似告警与处置记录知识库检索工具基于向量相似度匹配 RunbookWorkflow 触发工具触发自动化处置流程Case 创建工具自动创建事件工单创建方式Kibana UIAgent Builder → Tools → Create toolKibana APIPOST /s/{space_id}/api/agent_builder/tools参考文档Create and manage custom toolsTools in Elastic Agent Builder4. 创建一个 Alert Copilot AgentAlert Copilot Agent 是面向 SRE 告警场景的核心 AI 实体负责综合多源数据进行根因分析与处置建议生成。4.1 Agent 配置要点配置项建议名称sre-alert-copilotInstructions定义角色为 SRE 专家要求输出结构化分析现象、根因、证据、建议、置信度Tools绑定日志查询、指标查询、知识库检索、Case 管理等工具Model使用 DeepSeek ConnectorSkills可选绑定预置的 Observability 相关技能4.2 示例 Instructions摘要你是一名资深 SRE 工程师专门负责分析生产环境告警。 收到告警后请按以下步骤执行 1. 确认告警类型、严重级别与影响范围 2. 使用工具查询相关日志、指标与链路追踪 3. 检索知识库中的相似历史案例与 Runbook 4. 给出根因分析、支撑证据与处置建议 5. 评估置信度高/中/低低置信度时明确说明需人工介入的环节 输出格式 - 告警摘要 - 根因分析 - 支撑证据含查询结果引用 - 处置建议按优先级排列 - 置信度评估参考文档Create and manage custom agentsAgent Builder for Observability5. 创建一个 Human-In-The-Loop 的 Workflow使用 Elastic Workflows 将告警处理流程编排为可审计、可暂停、可人工干预的自动化流水线。5.1 Alert Trigger告警触发配置 Workflow 触发器在告警产生时自动启动 Copilot 流程。触发方式Alerting ConnectorKibana 告警规则触发时调用 Workflow WebhookScheduled / Event 触发基于索引中新增告警文档触发传入上下文# 告警上下文字段示例alert:id:{{ alert.id }}name:{{ alert.name }}severity:{{ alert.severity }}timestamp:{{ alert.timestamp }}service:{{ alert.service }}tags:{{ alert.tags }}5.2 Pre-processing预处理在调用 AI Agent 之前对原始告警进行标准化与上下文富化。预处理步骤告警归一化统一字段格式映射服务名、环境、负责人去重与抑制检查是否为重复告警或已知维护窗口内告警上下文采集拉取告警前后 15 分钟的错误日志查询关联服务的 CPU、内存、延迟指标获取近期部署变更记录优先级路由根据严重级别决定是否需要立即人工介入Workflow 步骤示例steps:-name:enrich_alert_contexttype:elasticsearch.search# 查询关联日志与指标-name:check_duplicatetype:ai.classify# 判断是否为重复/已知告警-name:route_by_severitytype:switch# 按严重级别分支处理5.3 使用 AI Agent 进行分析将预处理后的上下文传递给 Alert Copilot Agent执行智能分析。steps:-name:ai_analysistype:ai.agentwith:agent_id:sre-alert-copilotinput:|请分析以下告警 告警信息{{ steps.enrich_alert_context.output.alert }} 日志摘要{{ steps.enrich_alert_context.output.logs }} 指标摘要{{ steps.enrich_alert_context.output.metrics }} 历史案例{{ steps.enrich_alert_context.output.similar_cases }}Agent 输出根因判断支撑证据链推荐处置步骤置信度评分5.4 Human Feedback and Improvement人工反馈与持续改进在 AI 分析结果进入自动执行或告警关闭前引入人工审核节点并将反馈用于系统优化。Human-In-The-Loop 机制steps:-name:human_reviewtype:human-in-the-loopwith:title:SRE Alert Copilot 分析审核description:{{ steps.ai_analysis.output.summary }}assignee:{{ alert.on_call_engineer }}timeout:30moptions:-approve# 同意分析结论执行建议-reject# 驳回人工接管-correct# 修正分析提交反馈反馈闭环反馈类型后续动作Approve执行推荐处置步骤记录为正向样本Reject升级至 on-call 工程师标记 AI 分析失败Correct将人工修正写入知识库更新 Agent Instructions 或 Few-shot 示例自我改进路径将人工修正的分析结论写入 Elasticsearch 知识索引定期审查低置信度与被驳回的分析记录迭代 Agent Instructions、工具配置与 Runbook 内容跟踪 MTTR平均修复时间与 AI 建议采纳率作为效果指标参考文档AI-augmented workflowsElastic Workflows端到端流程示意告警规则触发 │ ▼ Workflow: Alert Trigger │ 接收告警 ID、服务、严重级别 ▼ Workflow: Pre-processing │ 归一化 → 去重 → 拉取日志/指标/变更记录 ▼ Workflow: ai.agent │ Alert Copilot Agent 综合分析 │ 调用 ES|QL、知识库检索等 Tool ▼ Workflow: human-in-the-loop │ On-call 工程师审核 AI 结论 ├─ Approve → 自动执行 Runbook / 关闭 Case ├─ Reject → 人工排查记录失败样本 └─ Correct → 反馈入库优化 Agent ▼ 持续改进循环 知识库更新 → Agent 调优 → 下次分析更准确关键指标指标说明MTTR从告警触发到问题解决的时间AI 建议采纳率人工 Approve 的分析占比误报率AI 根因判断被 Reject 的比例知识库命中率检索到相关 Runbook 的比例人工介入率需要 Human-In-The-Loop 的告警占比参考链接Get started with Elastic Agent BuilderAI-augmented workflowsCreate custom agentsCreate custom toolsElastic Inference ServiceKibana Alerting