跳到主要内容
约 4 分钟1 张卡

事故复盘

事故复盘是在服务恢复后,根据证据还原影响、处理过程和促成故障的条件,再把发现的问题转成可验证的改进。资深岗位面试中解释一次事故,需要说明当时为什么会发生、哪些保护起了作用,以及后续措施怎样降低同类风险。

1. 面试核心​

先记住这几条,再读正文
  • 时间线要区分故障发生、检测、缓解和恢复时刻,各阶段暴露的问题可能不同。卡 · 综合题
  • 影响评估同时看用户、请求和业务数据差异,总体错误率不能代替局部影响。
  • 无责复盘分析故障为何在当时条件下发生,改进行动仍要有明确负责人。
  • 行动项要写出负责人、期限和能够通过测试或演练验证的结果,不能停留在“加强监控”。

2. 复盘触发条件​

复盘触发条件应在事故前约定,避免只挑影响显眼的事故分析。用户中断、数据损失、紧急回滚可以列入,监控漏报和差点造成事故的险情也值得检查。

故障仍在发生时,优先控制影响、保存证据;恢复后再分析原因和改进方向。这样能把应急处置与事后分析各自做好。

3. 时间线​

时间线按证据还原每一步发生了什么,而不只记录事后推断的原因。对照日志、监控和变更记录,写清当时观察到了什么、掌握哪些信息、采取什么操作,以及结果如何。

事件发生与被发现要分别记录。例如,故障 10:00 开始,10:20 才被发现,即使之后很快恢复,前面的二十分钟检测延迟也需要单独分析。缺少这个区分,就可能只改进修复手段,漏掉监控问题。

缺失内容标为未知,保留待核验项。后续证据补齐后再更新结论。

4. 影响评估​

影响统计要回答用户实际遭遇了什么。除了受影响用户数和失败请求,还要核对业务结果;涉及数据时,记录哪些内容丢失、重复或长期没有更新。

整体错误率会掩盖局部中断。例如总错误率 1%,某租户却全部失败。因此需按区域、租户和业务链路拆分影响。

核算错误预算,也就是目标允许的失败余量时,影响时间和请求范围要与服务等级指标(SLI)的统计口径一致。赔付或合规影响交由对应负责人确认。

5. 促成条件​

触发动作说明故障如何开始,促成条件解释为什么这个动作能造成如此影响。例如,执行错误命令是触发动作,而权限过大、没有限制操作范围,则让错误扩散。只写“命令输错了”,无法指导系统改进。

继续检查权限、容量、发布和告警设计,并还原操作人员当时掌握的信息与时间压力。无责复盘以这些条件为分析对象,帮助参与者提供完整事实,而不是把解释停在某个人犯错。

改进行动仍要由明确的系统负责人落实。人员纪律问题由独立流程处理。

6. 防线分析​

防线分析是沿预防、检测、缓解和恢复四个阶段,检查哪些保护生效、哪些失效、哪里没有保护。这样才能把改进放到对应环节,而不把所有问题都交给告警。

还要区分保护措施与偶然条件。如果只是低峰期让影响较小,就记录这一点,并在后续演练中覆盖高峰负载。已经生效的保护应保留,修复其他问题时也要检查是否会破坏它们的依赖。

7. 行动项​

行动项必须能验证是否有效。例如,把“加强监控”改为“增加结账成功率告警”,再通过注入已知错误,检查是否触发告警、响应耗时是否达到目标。只完成配置,还不能说明这条防线已经起作用。

每项指定负责人、优先级和截止时间。高风险项进入正式排期。测试或演练通过后,再关闭对应任务。

8. 失败方案复盘​

失败方案应按原目标和决策时可获得的证据评估,避免用事后信息推断当时“早该知道”。重点检查哪些假设没有成立、验证方法为何没发现问题,以及是否约定了停止条件。

记录不利于原方案的信号何时出现,看到这些信号后为什么仍继续投入。已有工具和结论如果还能复用,就单独保留;项目停止不代表所有产出都没有价值。

后续决定应更新验证标准与退出条件。及时结束低价值方案可以减少后续损失。

9. 跨事故分析​

跨事故比较可以发现反复出问题的依赖或变更环节。用统一标签归类后,相似系统可以把相应事故场景加入演练,检查是否存在同样的薄弱点。

同类事故再次出现时,检查旧行动项是否完成。已经完成的项需复核实际效果。分享材料保留技术细节,并去除用户敏感信息。

10. 复盘完成标准​

复盘文档完成与改进完成要分开跟踪。文档经参与者和系统负责人评审,影响、时间线有证据支持,行动项有明确依据和验收方式后,就可以发布。

行动项按各自期限继续验收。重复事故与恢复耗时用于评估长期效果。无需等待长期指标变化才发布文档。

11. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 1 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明