跳到主要内容
约 6 分钟2 张卡

分布式流程恢复

分布式流程恢复要解决的是:某一步失败或结果未知后,怎样找到真实状态,再安全地继续、补偿或修复。重试负责再次执行,对账负责发现差异,受控修复负责处理无法自动判断的情况。

这些操作都需要识别原来的业务动作。否则,补单可能变成再次扣款,迟到消息可能覆盖已经确认的终态,修复也可能带来新的错误。

1. 面试核心​

先记住这几条,再读正文
  • 重试、重放和人工补单应沿用稳定的业务 ID,让系统知道它们是否属于同一次动作。
  • 幂等键绑定的是请求意图。同键异参应返回冲突,记录保留期也要覆盖允许的重放窗口。卡 · 幂等键的语义与生命周期
  • 状态机通过有条件的状态转换限制迟到消息,避免覆盖已经成立的合法终态。
  • 对账用权威数据核对目标结果,发现没有主动报错的差异,补足重试和告警覆盖不到的部分。卡 · 综合题
  • 人工修复仍需复用业务校验和幂等机制,记录审计,并在执行后重新核对结果。

2. 稳定业务标识​

业务标识用来区分“同一动作再执行一次”和“新的业务动作”。全局流程 ID、步骤 ID、支付单号在首次创建后保持稳定,重试沿用原 ID,新动作才生成新 ID。事件 ID 则用来识别同一事实的重复投递。

幂等是同一个动作重复执行时,不会再次产生业务效果。本地实现需要把幂等记录和业务变化共同提交,再用唯一约束或条件转换限制重复。如果只在短期缓存中留一个标记,过了有效期就无法再靠它识别旧请求。

2.1 幂等键的语义与生命周期​

幂等键是调用方为一次请求意图提供的稳定标识,应包含租户或调用方范围。服务保存对应的请求摘要、处理状态和最终结果,才能确认重复请求是否真的是同一个动作。

同键同参且已经完成时,返回原结果;仍在处理中时,返回处理中或等待已有执行结果。同键却金额不同,说明请求意图冲突,应明确报错,不能随意选择其中一个金额执行。

服务重启后,根据持久状态继续恢复。若涉及独立的外部扣款等副作用,还需要外部系统的幂等协议,本地记录无法单独约束对方。

记录保留期应覆盖重试、死信重放和人工补单的时间范围。记录过期后,如果仍允许旧请求到达,就需要通过业务唯一记录识别它;缺少这种依据时,应拒绝过期请求,转入专门修复流程。

3. 状态机​

状态机规定业务允许处于哪些状态,以及状态之间可以怎样转换。例如,订单可以从 PENDING 进入 PAID 或 CANCELLED,但迟到的支付通知不能直接把 CANCELLED 覆盖成 PAID。

支付通知提供的是支付事实。遇到已取消订单时,应进入核对或退款分支,而不是无条件改订单状态。写入时可以把版本或当前状态放进 SQL 条件;影响 0 行后,再读取实际状态,区分已经完成、请求过期和非法转换。

4. 错误分类与重试​

是否重试取决于失败原因。暂时性网络故障和限流可以有限退避重试;参数错误、账号冻结或结构不兼容,则需要先修正输入或处理对应条件,重复原请求本身无法解决。

外部结果未知时,应先按原业务 ID 查询。对方支持幂等重试时,也可以沿用原键重试。每个步骤记录尝试次数、下次重试时间和最后错误;达到上限后转入明确的待处理状态,不能让失败只留在日志里。

5. 对账​

对账是从权威记录出发,比较业务结果是否一致。先要确定每类事实由谁说明:支付渠道流水记录外部扣款,内部账务记录已登记的资金变化,搜索索引则是数据库内容的派生结果。

核对时使用主键、金额、版本和状态等信息,定位到具体差异。只比总数不够:一条记录多了、另一条少了,总数仍可能相同,实际业务却已经出错。

例如核对 MySQL 与 Elasticsearch 时,先明确可接受的同步延迟和本轮检查范围,再按业务主键比较版本及关键字段。正在持续写入的数据不能只在两个不同时间各扫一遍,就把所有差异都认定为丢失;应等待约定的同步检查点,或把临时差异保留到后续复查。数据库已删除的记录还需要通过删除事件、删除标记或反向扫描识别索引中的残留,单向遍历现存数据库行会漏掉它们。事件生成与传递的保证见 Transactional Outbox 与 CDC。

6. 增量扫描​

增量扫描通过保存范围、游标和检查点,持续核对新增或变化的数据。按更新时间扫描时,需要用时间与主键组成稳定顺序,避免相同时间戳的记录漏扫;延迟提交等情况还要通过重叠窗口补查。

重叠窗口也有边界,不能覆盖无限期的遗漏,因此需要周期性全量核对补充。修复任务本身也必须幂等,才能在失败后从检查点重新执行。

7. 自动修复​

只有权威记录明确、修复动作确定且可安全重放时,才适合自动修复。例如,数据库版本高于搜索索引版本,可以用数据库内容重建对应投影。

修复写入仍要检查目标版本,防止扫描后又发生的合法变化被覆盖。金额、数量和操作范围应设置上限;事实含糊或有多种解释的差异,应进入人工队列进一步核对。

8. 人工修复​

人工修复也应通过业务命令执行,复用正式流程的鉴权、状态校验和幂等能力。工具记录操作者、原因与工单号,让后续能查明谁基于什么依据做了修改。

高风险操作可以增加预览、双人审批和金额上限。每次执行保留不可变审计,并提供结果查询;修复后重新对账,确认差异确实消失,而不只是命令返回成功。

9. 修复演练​

恢复能力需要用失败场景验证。演练可以注入重复请求、乱序消息、丢事件和外部结果未知,检查告警能否触发、差异能否定位,以及重放和人工入口是否可用。

还要在接近生产的数据量下测量耗时,并分别为发现和修复设定目标。小数据量下能完成操作,无法说明生产规模下仍能及时恢复。

10. 常见问题​

10.1 消息保证至少一次投递,还需要业务对账吗?​

需要。投递保证只覆盖约定范围内的消息交付,漏生成事件、错误确认或人工改表仍可能留下差异。对账直接检查业务结果,可以发现这些未被传输机制覆盖的缺口。

10.2 哪些问题应该留给人工修复?​

11. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 2 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明