跳到主要内容
约 5 分钟2 张卡

故障转移

故障转移是在原节点无法继续提供服务时,把服务责任交给健康节点的过程。它需要重新确定谁有权写入、检查接管节点的数据和容量,再切换流量并验证业务结果。

设计故障转移时,最需要分清的是“节点失联”和“节点已经停止写入”。如果只凭心跳超时就启用新主,旧主可能仍在处理请求,最终形成两个节点同时修改数据的局面。

1. 面试核心​

先记住这几条,再读正文
  • 心跳超时只能说明没有及时收到响应,不能证明旧主已经停止写入,写入权需要仲裁或隔离机制确定。
  • fencing 用来撤销旧持有者的写入能力。采用 token 时,必须由资源端检查并拒绝旧 token,才能挡住迟到写入。
  • 接管前要检查数据位置、完整性、版本兼容和容量,不能只确认备节点进程存活。卡 · 综合题
  • 预置副本、路由和权限,可以减少故障期间对临时创建资源的依赖。卡 · 控制面依赖与预置资源
  • 切换后用端到端探针和数据核对验证恢复,既检查请求能否完成,也检查结果是否正确。

2. 触发条件​

触发转移需要结合多个信号,区分进程退出、节点故障和网络分区。后者可能只是节点之间无法通信,旧节点本身仍在运行。性能退化和依赖失败也需要纳入判断。

检测可以组合多点探测、用户错误率和复制状态,再参考节点租约、共识状态与近期变更。要求连续多次失败后再触发,可以减少瞬时波动造成的误判;恢复后再观察一段时间才允许切换,则能减少来回转移。

3. Fencing​

Fencing 是撤销旧持有者操作资源的能力,避免它在新节点接管后继续写入。旧主即使失联,也可能仍在运行,并从部分客户端收到请求,因此接管前需要完成这一步。

Fencing token 是递增的写入凭证。资源端记录已经接受的新 token,并拒绝更旧的 token。这样,即使旧主的请求迟到,也无法覆盖新主的写入。只生成 token,却不让资源端检查,起不到这个作用。

断电、隔离存储访问也可以撤销旧主的写入能力。使用租约时,还要明确如何判断过期,以及方案依赖哪些时钟假设。共识日志中的任期规则见Raft。

4. 接管前的数据检查​

备节点只有同时满足数据和处理能力要求,才适合接管。检查至少包括:

  • 复制位置满足本次恢复目标。
  • 日志和关键数据通过完整性校验。
  • 应用版本与数据库结构兼容。
  • 缓存、索引和必要状态已经就绪。
  • 目标节点能在要求的服务质量下承接目标流量。

异步复制尤其需要核对最后安全位置。主节点已经不可达时,监控里之前记录的低延迟,不能证明此刻没有数据丢失。无法确定的部分要记录下来,恢复后再结合业务流水核对。

5. 流量切换​

先完成写入权交接,再开放目标节点的写入流量。可以先用少量探测请求验证新路径,再按容量扩大流量范围,同时让旧路径继续拒绝越权写入。

配置变更成功也不代表所有客户端都已切换。DNS TTL、客户端缓存和长连接都会影响实际切换速度,因此需要从多个用户位置发起探测,确认请求确实到达新路径。

5.1 控制面依赖与预置资源​

控制面是负责创建、配置和管理基础设施的部分。故障期间,这些管理 API 也可能不可用;如果接管必须先临时申请实例,恢复时间就会受资源创建操作影响。

关键副本、路由入口和权限可以提前配置,让已有资源先接住约定的核心流量,扩容完成后再恢复其他负载。预置多少,需要按接管容量与持续成本决定。

演练时可以额外阻断资源创建操作。如果核心路径仍能恢复,就能验证接管方案对控制面的依赖是否已经减少。

6. 恢复验证​

业务恢复要通过完整操作来验证。测试账户应能创建、查询和更新业务记录,相关消息也应能够发布、消费并收到回调。只检查进程健康,无法覆盖这些环节。

结果还要符合业务规则,例如库存、账务和状态变化没有出现矛盾。异步任务则要观察最老任务已经等待多久,避免新请求正常、旧任务仍卡住。探针产生的数据应有独立标识,便于核对和清理。

7. 故障演练​

故障演练是在受控范围内制造故障,验证接管步骤是否可执行、结果是否符合预期。每次应先明确故障假设、影响范围、观察指标和停止条件。

首次先在预生产环境验证自动化,再在生产按实例、可用区和地域逐步扩大范围。除了节点退出、网络隔离和复制暂停,也要考虑慢磁盘、依赖延迟及备用容量不足。达到停止阈值后,应停止故障注入、撤销注入影响,并按预案完成恢复。

8. Runbook​

运行手册(runbook)是故障处理时可直接执行的步骤说明。它需要写清前置检查、命令、预期结果和等待超时,并为每一步指定负责人和失败处理方式。所需工具与访问权限也要能在故障区域之外使用。

让非作者按手册演练,可以发现作者默认知道、却没有写出的步骤。拓扑、证书或版本变化后,受影响的步骤需要重新验证。

9. Failback​

回切(failback)是把服务责任交回原节点的过程,应作为独立变更评估。原主恢复时,要先把它当作落后的副本,以当前主节点的数据为准,追平并校验后才具备回切条件。

是否立即回切,还要看容量、性能和维护窗口。如果新主已经稳定运行,可以继续保留当前拓扑,避免仅为恢复原来的角色分配而再次切换。

10. 演练评估​

演练结果应能回答“恢复用了多久”和“恢复到了哪个数据位置”。分别记录发现、决策、接管及业务验证耗时,再与恢复时间目标(RTO)和恢复点目标(RPO)比较。

权限阻塞、人工等待和数据差异都应进入整改清单,写清负责人、期限和复测条件。撤销故障注入后,还要确认积压已处理完,才能结束本次演练。

11. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 2 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明