分布式流程恢复
分布式流程恢复要解决的是:某一步失败或结果未知后,怎样找到真实状态,再安全地继续、补偿或修复。重试负责再次执行,对账负责发现差异,受控修复负责处理无法自动判断的情况。
这些操作都需要识别原来的业务动作。否则,补单可能变成再次扣款,迟到消息可能覆盖已经确认的终态,修复也可能带来新的错误。
1. 面试核心
先记住这几条,再读正文- 重试、重放和人工补单应沿用稳定的业务 ID,让系统知道它们是否属于同一次动作。
- 幂等键绑定的是请求意图。同键异参应返回冲突,记录保留期也要覆盖允许的重放窗口。卡 · 幂等键的语义与生命周期
- 状态机通过有条件的状态转换限制迟到消息,避免覆盖已经成立的合法终态。
- 对账用权威数据核对目标结果,发现没有主动报错的差异,补足重试和告警覆盖不到的部分。卡 · 综合题
- 人工修复仍需复用业务校验和幂等机制,记录审计,并在执行后重新核对结果。
2. 稳定业务标识
业务标识用来区分“同一动作再执行一次”和“新的业务动作”。全局流程 ID、步骤 ID、支付单号在首次创建后保持稳定,重试沿用原 ID,新动作才生成新 ID。事件 ID 则用来识别同一事实的重复投递。
幂等是同一个动作重复执行时,不会再次产生业务效果。本地实现需要把幂等记录和业务变化共同提交,再用唯一约束或条件转换限制重复。如果只在短期缓存中留一个标记,过了有效期就无法再靠它识别旧请求。
2.1 幂等键的语义与生命周期
幂等键是调用方为一次请求意图提供的稳定标识,应包含租户或调用方范围。服务保存对应的请求摘要、处理状态和最终结果,才能确认重复请求是否真的是同一个动作。
同键同参且已经完成时,返回原结果;仍在处理中时,返回处理中或等待已有执行结果。同键却金额不同,说明请求意图冲突,应明确报错,不能随意选择其中一个金额执行。
服务重启后,根据持久状态继续恢复。若涉及独立的外部扣款等副作用,还需要外部系统的幂等协议,本地记录无法单独约束对方。
记录保留期应覆盖重试、死信重放和人工补单的时间范围。记录过期后,如果仍允许旧请求到达,就需要通过业务唯一记录识别它;缺少这种依据时,应拒绝过期请求,转入专门修复流程。
3. 状态机
状态机规定业务允许处于哪些状态,以及状态之间可以怎样转换。例如,订单可以从 PENDING 进入 PAID 或 CANCELLED,但迟到的支付通知不能直接把 CANCELLED 覆盖成 PAID。
支付通知提供的是支付事实。遇到已取消订单时,应进入核对或退款分支,而不是无条件改订单状态。写入时可以把版本或当前状态放进 SQL 条件;影响 0 行后,再读取实际状态,区分已经完成、请求过期和非法转换。
4. 错误分类与重试
是否重试取决于失败原因。暂时性网络故障和限流可以有限退避重试;参数错误、账号冻结或结构不兼容,则需要先修正输入或处理对应条件,重复原请求本身无法解决。
外部结果未知时,应先按原业务 ID 查询。对方支持幂等重试时,也可以沿用原键重试。每个步骤记录尝试次数、下次重试时间和最后错误;达到上限后转入明确的待处理状态,不能让失败只留在日志里。
5. 对账
对账是从权威记录出发,比较业务结果是否一致。先要确定每类事实由谁说明:支付渠道流水记录外部扣款,内部账务记录已登记的资金变化,搜索索引则是数据库内容的派生结果。
核对时使用主键、金额、版本和状态等信息,定位到具体差异。只比总数不够:一条记录多了、另一条少了,总数仍可能相同,实际业务却已经出错。
例如核对 MySQL 与 Elasticsearch 时,先明确可接受的同步延迟和本轮检查范围,再按业务主键比较版本及关键字段。正在持续写入的数据不能只在两个不同时间各扫一遍,就把所有差异都认定为丢失;应等待约定的同步检查点,或把临时差异保留到后续复查。数据库已删除的记录还需要通过删除事件、删除标记或反向扫描识别索引中的残留,单向遍历现存数据库行会漏掉它们。事件生成与传递的保证见 Transactional Outbox 与 CDC。
6. 增量扫描
增量扫描通过保存范围、游标和检查点,持续核对新增或变化的数据。按更新时间扫描时,需要用时间与主键组成稳定顺序,避免相同时间戳的记录漏扫;延迟提交等情况还要通过重叠窗口补查。
重叠窗口也有边界,不能覆盖无限期的遗漏,因此需要周期性全量核对补充。修复任务本身也必须幂等,才能在失败后从检查点重新执行。
7. 自动修复
只有权威记录明确、修复动作确定且可安全重放时,才适合自动修复。例如,数据库版本高于搜索索引版本,可以用数据库内容重建对应投影。
修复写入仍要检查目标版本,防止扫描后又发生的合法变化被覆盖。金额、数量和操作范围应设置上限;事实含糊或有多种解释的差异,应进入人工队列进一步核对。
8. 人工修复
人工修复也应通过业务命令执行,复用正式流程的鉴权、状态校验和幂等能力。工具记录操作者、原因与工单号,让后续能查明谁基于什么依据做了修改。
高风险操作可以增加预览、双人审批和金额上限。每次执行保留不可变审计,并提供结果查询;修复后重新对账,确认差异确实消失,而不只是命令返回成功。
9. 修复演练
恢复能力需要用失败场景验证。演练可以注入重复请求、乱序消息、丢事件和外部结果未知,检查告警能否触发、差异能否定位,以及重放和人工入口是否可用。
还要在接近生产的数据量下测量耗时,并分别为发现和修复设定目标。小数据量下能完成操作,无法说明生产规模下仍能及时恢复。
10. 常见问题
10.1 消息保证至少一次投递,还需要业务对账吗?
需要。投递保证只覆盖约定范围内的消息交付,漏生成事件、错误确认或人工改表仍可能留下差异。对账直接检查业务结果,可以发现这些未被传输机制覆盖的缺口。
10.2 哪些问题应该留给人工修复?
事实含混、无法确定修复方向,或者风险过高的问题,适合进入人工处理。可靠性取决于操作是否受约束、可审计、可验证;规则明确且反复出现的问题,则应逐步自动化。
11. 面试题卡片
12. 参考资料
- AWS Well-Architected:REL12-BP05 Perform game days
- Debezium:Outbox Event Router
- Temporal:Failures and error handling
- AWS Builders’ Library:Making retries safe with idempotent APIs
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明