一、背景为什么要重新制定故障处理流程2020年写过一篇文章 故障处理流程和规范在过去的这三年内故障处理流程输出了好几个版本但都没有很好的落地所以本次的目标是制定一个简单、易操作易落地的故障处理流程。将全链路中的各个组件和服务责任到人当出现故障时各司其职快速分析定位快速反馈。二、故障处理流程1、事前故障规范步骤补充说明统一故障处理群- 创建线上故障的统一处理群请提前置顶方便快速定位本群-入群要求产研中心各部门核心关键人员-入群职责- 群内成员都有责任排查问题并反馈分析结果- 群内成员对群内反馈的问题有责任进行甄别若反馈的问题很小可提醒单独拉群进行处理避免信息影响到过多人员故障整体跟进人- 统一指挥及时跟进可以是指定的几个人2、事中故障处理步骤步骤内容补充说明第一步信息同步- 所有人同步故障关键信息以便其他人员快速了解故障情况- 若1分钟内无人响应则直接电话加急自行判断是否需要第二步分析排查- 按责任分工各司其职快速分析排查定位问题- 说明针对问题点明确的故障精准分析并反馈即可第三步分析反馈- 按责任分工各自快速反馈有无问题以便快速定位问题- 分析反馈时限3-5分钟内反馈第四步故障处理- 核心原则以最有效最短时间恢复故障为第一目标- 常用手段扩容、回滚、重启、紧急更新、限流降级等第五步进度反馈- 由整体跟进人于群中定期同步故障处理进度内容清晰明了即可- 故障处理进度同步频率主链路故障每15分钟同步一次其他故障每隔30分钟同步一次- 故障修复后务必通知反馈方告知问题已解决3、事后故障复盘步骤补充说明故障复盘- 指定一名人员牵头推动如下事项- 输出故障报告2个工作日内- 组织故障复盘会5个工作日内三、常见的定责标准制定明确的定责标准有利于尽量减少争议。定责是是问题复盘中最棘手的部分要做到公平公正、让各方心服口服是一项很大的挑战。定责标准描述1.违反公司规章/制度/流程的承担主责- 比如公司规定必须要有灰度策略才能升级某业务版本直接全量升级导致发生为。2.出现重大纰漏的承担主责- 比如测试时漏测了某个常见的业务场景导致上线后发生问题测试承担主责产品承担主责因为上线前验收阶段没有发现问题开发反而不一定承担责任看具体的公司和团队要求。3.问题源头承担主责- 比如A系统磁盘故障导致接口响应很慢且问题持续时间很长从而进一步导致B系统对外响应也超时这种情况下A系统应该承担主责B系统承担次责。4.问题放大者承担主责- 比如A系统磁盘故障导致接口响应很慢但只持续了几分钟结果诱发了B系统的设计缺陷导致B系统瘫痪了1个小时这种情况下B系统应该承担主责。