跳到主要内容
约 6 分钟2 张卡

Transactional Outbox 与 CDC

Transactional Outbox(事务发件箱)是把业务变化和待发送事件写入同一本地事务的方式。这样,业务提交后就会留下事件记录,即使进程在发消息前退出,也有依据恢复发送。CDC(变更数据捕获)则可以从数据库日志中获取已提交的变化,用来发布这些事件。

这套机制解决了本地提交后漏发事件的问题,但交付仍可能重复,业务顺序也需要单独维护。理解它,需要沿着“本地提交—发布—消费”逐步判断每一步保证了什么。

1. 面试核心​

先记住这几条,再读正文
  • Outbox 把业务状态与待发事件放进同一本地事务,使它们一起提交或一起回滚。卡 · 综合题
  • 负责转发的 relay 在发送后、记录结果前崩溃,恢复时可能再次发送,因此消费端仍需幂等。
  • CDC 恢复依赖保留完整的提交日志和持久化消费位置,日志被清理后可能需要重新补数据。
  • 相同聚合键可以把事件路由到同一分区,但分区只保留实际追加顺序,发布和消费也要维护业务顺序。卡 · 版本缺口与事件类型
  • Inbox 去重记录与本地消费结果共同提交,才能防止重复事件再次产生本地业务效果。

2. 双写窗口​

直接更新数据库再发消息,会留下两个独立的提交点:

提交数据库 → 发送消息

数据库提交成功、消息发送失败,下游就会漏掉这次变化。交换顺序也有问题:消息发出后数据库回滚,下游就会处理一个实际上没有成立的业务事实。

只在异常处理中重试,仍然覆盖不了进程在两步之间直接退出的情况。要恢复发送,必须有一份与业务变化共同保存的待发记录。

3. Outbox 表​

业务事务同时写入订单和 Outbox 记录,将“订单已变化”和“需要发布事件”绑定在一次提交中。Outbox 可以包含以下字段:

event_id, aggregate_type, aggregate_id, aggregate_version,
event_type, schema_version, payload, created_at

event_id 标识事件,供消费端去重;aggregate_type 和 aggregate_id 标识业务对象;aggregate_version 帮助检查同一对象的事件顺序;event_type 表明发生了什么,schema_version 表明事件结构的版本,payload 保留消费所需内容。

事件表达的是已经发生的业务事实。本地事务提交时,订单和事件共同持久化;回滚时,两者共同撤销。发送任务只需继续处理已经提交的记录。

4. 轮询 relay​

Relay 是读取待发事件并转发到消息系统的工作进程。轮询方案中,它先领取记录,发送到 broker(消息服务器),再记录发布结果。表中可以另设 published_at、租约和重试字段,跟踪处理进度。

多个 relay 可以通过分片或 SKIP LOCKED 分配工作。但发送与标记仍不是同一次提交:发送成功后、标记前崩溃,会重复发送;先标记再发送,则可能在崩溃时漏发。因此,消费端需要能安全处理重复事件。

领取记录后,还要处理租约过期和工作进程退出,避免记录一直无人接手。索引、批次上限和历史清理则用来控制轮询对数据库的负载。

5. CDC​

CDC 可以从数据库提交日志中提取变化。MySQL 使用 binlog,PostgreSQL 可以使用逻辑解码,连接器再把 Outbox 的插入记录映射成消息。

连接器需要保存消费到的日志位置,重启后从该位置继续。日志保留期必须覆盖停机和追赶耗时;如果恢复所需的日志已经被清理,就要按连接器支持的方式重建快照或补数据。

Debezium Outbox Event Router 负责把记录映射成消息的 key、header 和 payload。采用这种转换方式时,Outbox 以插入事件为主;不能直接照搬轮询方案的发布标记更新逻辑,需要遵守所选转换器的规则。

6. 按聚合键排序​

相同消息 key 能控制路由,不能自动生成业务顺序。例如,同一订单用相同的 aggregate_id 作为 Kafka key,在固定分区映射下会进入同一分区,但分区保存的是消息实际追加的先后顺序。

同一聚合的版本需要由数据库并发控制生成。Outbox 自增 ID 反映的是分配顺序,未必是事务提交顺序;多个 relay 同时发布,也可能把后一个版本先发出去。

6.1 版本缺口与事件类型​

收到乱序事件后能否跳过旧版本,取决于事件是完整快照还是增量。假设订单版本 12 先到,版本 11 后到:如果 12 包含完整的查询投影,消费者可以按版本条件更新到 12,再忽略迟到的旧快照。

如果事件只表示“余额增加 10”,直接跳过旧版本就会少算一次变化。此类增量事件需要连续的事件序号;发现缺口后,应暂停该聚合的处理,补取或重放缺失事件,再继续执行。

发布端可以按聚合分片、串行发送,消费端也要避免并行处理把副作用顺序打乱。顺序保证需要覆盖整条链路,不能只检查 key 是否相同。

7. 消费者幂等​

Inbox 是消费端用来记录事件处理结果的去重表。消费者把 event_id 写入带唯一约束的 Inbox,并与本地业务变化放进同一事务;重复事件到达时,根据已有记录返回结果,不再重复修改业务数据。

本地事务只能保护本地效果。邮件、扣款等外部副作用,还需要目标系统支持幂等键。去重记录保留多久、怎样处理历史重放,见分布式流程恢复。

8. 发布与业务完成​

Outbox 提交成功,只能说明业务变化有了持久的待发记录。最终能否送达,还依赖 relay 恢复、CDC 日志保留和 broker 持久性。

消息发布完成后,下游也可能尚未消费。跨服务流程需要根据必要参与者的处理结果继续推进;如果接口此时只承诺受理,就应明确显示“处理中”,不能把发布成功当作业务完成。

9. 监控​

监控需要能发现事件处理停滞。发布端关注最老未发布事件的等待时间和失败次数,CDC 关注日志位置、滞后及保留空间,消费端关注积压、死信和版本缺口。

进程活着,却一直卡在同一条事件上,业务仍然无法前进。因此,还需要通过对账检查业务记录和事件是否对应,补足仅观察进程状态发现不了的问题。

10. 常见问题​

10.1 使用 Outbox 就能保证 exactly-once 吗?​

不能保证端到端只产生一次业务效果。Outbox 保护本地原子提交,发送响应丢失仍可能导致重复交付。消费端和外部目标都需要幂等约束,才能限制重复带来的影响。

10.2 已经能捕获表变更,为什么还要显式写业务事件?​

11. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 2 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明