事故复盘
事故复盘是在服务恢复后,根据证据还原影响、处理过程和促成故障的条件,再把发现的问题转成可验证的改进。资深岗位面试中解释一次事故,需要说明当时为什么会发生、哪些保护起了作用,以及后续措施怎样降低同类风险。
1. 面试核心
先记住这几条,再读正文- 时间线要区分故障发生、检测、缓解和恢复时刻,各阶段暴露的问题可能不同。卡 · 综合题
- 影响评估同时看用户、请求和业务数据差异,总体错误率不能代替局部影响。
- 无责复盘分析故障为何在当时条件下发生,改进行动仍要有明确负责人。
- 行动项要写出负责人、期限和能够通过测试或演练验证的结果,不能停留在“加强监控”。
2. 复盘触发条件
复盘触发条件应在事故前约定,避免只挑影响显眼的事故分析。用户中断、数据损失、紧急回滚可以列入,监控漏报和差点造成事故的险情也值得检查。
故障仍在发生时,优先控制影响、保存证据;恢复后再分析原因和改进方向。这样能把应急处置与事后分析各自做好。
3. 时间线
时间线按证据还原每一步发生了什么,而不只记录事后推断的原因。对照日志、监控和变更记录,写清当时观察到了什么、掌握哪些信息、采取什么操作,以及结果如何。
事件发生与被发现要分别记录。例如,故障 10:00 开始,10:20 才被发现,即使之后很快恢复,前面的二十分钟检测延迟也需要单独分析。缺少这个区分,就可能只改进修复手段,漏掉监控问题。
缺失内容标为未知,保留待核验项。后续证据补齐后再更新结论。
4. 影响评估
影响统计要回答用户实际遭遇了什么。除了受影响用户数和失败请求,还要核对业务结果;涉及数据时,记录哪些内容丢失、重复或长期没有更新。
整体错误率会掩盖局部中断。例如总错误率 1%,某租户却全部失败。因此需按区域、租户和业务链路拆分影响。
核算错误预算,也就是目标允许的失败余量时,影响时间和请求范围要与服务等级指标(SLI)的统计口径一致。赔付或合规影响交由对应负责人确认。
5. 促成条件
触发动作说明故障如何开始,促成条件解释为什么这个动作能造成如此影响。例如,执行错误命令是触发动作,而权限过大、没有限制操作范围,则让错误扩散。只写“命令输错了”,无法指导系统改进。
继续检查权限、容量、发布和告警设计,并还原操作人员当时掌握的信息与时间压力。无责复盘以这些条件为分析对象,帮助参与者提供完整事实,而不是把解释停在某个人犯错。
改进行动仍要由明确的系统负责人落实。人员纪律问题由独立流程处理。
6. 防线分析
防线分析是沿预防、检测、缓解和恢复四个阶段,检查哪些保护生效、哪些失效、哪里没有保护。这样才能把改进放到对应环节,而不把所有问题都交给告警。
还要区分保护措施与偶然条件。如果只是低峰期让影响较小,就记录这一点,并在后续演练中覆盖高峰负载。已经生效的保护应保留,修复其他问题时也要检查是否会破坏它们的依赖。
7. 行动项
行动项必须能验证是否有效。例如,把“加强监控”改为“增加结账成功率告警”,再通过注入已知错误,检查是否触发告警、响应耗时是否达到目标。只完成配置,还不能说明这条防线已经起作用。
每项指定负责人、优先级和截止时间。高风险项进入正式排期。测试或演练通过后,再关闭对应任务。
8. 失败方案复盘
失败方案应按原目标和决策时可获得的证据评估,避免用事后信息推断当时“早该知道”。重点检查哪些假设没有成立、验证方法为何没发现问题,以及是否约定了停止条件。
记录不利于原方案的信号何时出现,看到这些信号后为什么仍继续投入。已有工具和结论如果还能复用,就单独保留;项目停止不代表所有产出都没有价值。
后续决定应更新验证标准与退出条件。及时结束低价值方案可以减少后续损失。
9. 跨事故分析
跨事故比较可以发现反复出问题的依赖或变更环节。用统一标签归类后,相似系统可以把相应事故场景加入演练,检查是否存在同样的薄弱点。
同类事故再次出现时,检查旧行动项是否完成。已经完成的项需复核实际效果。分享材料保留技术细节,并去除用户敏感信息。
10. 复盘完成标准
复盘文档完成与改进完成要分开跟踪。文档经参与者和系统负责人评审,影响、时间线有证据支持,行动项有明确依据和验收方式后,就可以发布。
行动项按各自期限继续验收。重复事故与恢复耗时用于评估长期效果。无需等待长期指标变化才发布文档。
11. 面试题卡片
12. 参考资料
- Google SRE Workbook:Postmortem Culture
- Google SRE:Postmortem Culture
- Google SRE:Incident Management Guide
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明