跳到主要内容

消息幂等性

消息幂等性是指同一业务动作被重复处理时,最终结果与只处理一次相同。例如,同一条记账消息无论重投多少次,最终都只能记一笔账。它解决的是业务结果能否安全重试,而不要求消息只到达一次。

设计消费者时,需要同时回答重复和乱序两个问题:怎样识别已经完成的动作,旧消息晚到时还能不能执行。本文的 Kafka 示例采用 4.1 的普通消费者组。

1. 面试核心​

先记住这几条,再读正文
  • 幂等键标识的是同一个业务动作,生产者重试时应复用原键,不同动作则使用不同键。
  • 去重记录与业务变化要在同一本地事务中提交,才能共同成功或回滚。卡 · 综合题
  • Kafka 事务能原子提交输出记录与消费 offset,外部数据库的提交仍需另行协调。
  • 同一业务键固定分区后,消费者内部还要按键串行处理,才能保持处理顺序。
  • 完整快照可以用单调版本跳过旧值,增量事件则要校验连续性或补齐缺口。卡 · 版本号

2. 处理与确认之间的故障窗口​

业务完成后、消费确认前崩溃,是消息重复到达的一种原因。例如,消费者已提交记账事务,还没告诉消息系统「处理完成」就退出了。恢复后,消息系统只能按未确认处理,再投递一次。

把确认移到业务提交之前也不能解决问题:确认后如果业务失败,消息可能不会再被处理。两种顺序的差别见消息可靠性。

因此,消费者要接受重复到达,并根据持久化状态判断动作是否已经完成。只在当前进程里记住「处理过」,重启后就失效了。

3. 幂等键​

幂等键是用来识别同一业务动作的稳定标识,可以是 event ID 或 command ID。重试必须复用原键,否则消费者会把重试当成新动作;两次独立动作即使内容相同,也应使用不同的键。

RocketMQ 的消费重试也需要这层业务去重。不能只因两条消息的 msgId 不同,就认定它们是不同业务动作:应用重新发送同一动作时,消息标识可能变化。应把稳定的业务动作标识放进消息,例如「订单 1001 的支付事件」,由消费者用它建立唯一约束;订单 ID 本身则未必够用,因为同一订单还可能发生退款等独立动作。

去重记录要与业务更新放进同一事务。下面先登记记账事件,再执行对应的记账更新:

BEGIN;
INSERT INTO consumed_event(consumer_name, event_id)
VALUES ('accounting', 'event-1001');
-- 在同一事务中执行记账更新。
COMMIT;

consumed_event 需要对 (consumer_name,event_id) 建立唯一约束。只有 INSERT 成功才继续记账,任一步失败都回滚。这样,记录存在就能表示这次业务更新已经一起提交;多个实例同时处理相同消息时,也由数据库唯一约束协调。

处理冲突时,要确认报错来自这条去重约束,才能据此核对已有结果。其他唯一约束错误仍然是业务失败,不能一律当成「处理过了」。还应核对重复消息的载荷,防止同一个键被错误地用于不同动作。

去重记录至少要保留到可重放窗口结束。清理太早,旧事件重放时就会被再次当成新动作。consumer_name 则限定了记录的适用范围:一个消费者完成记账,不代表另一个消费者也完成了自己的工作。

4. 幂等的状态转换​

有些动作可以直接用业务状态判断是否需要执行,不必另建去重表。条件状态转换是只在对象处于指定状态时才更新它,例如只把待支付订单改成已支付:

UPDATE orders
SET status = 'PAID', paid_at = ?
WHERE order_id = ? AND status = 'PENDING';

首次执行把 status 从 PENDING 改成 PAID。重复执行时,条件不再成立,影响行数是 0。但 0 行也可能表示订单不存在,或者订单处于其他状态,因此还要读出结果,区分已完成、记录缺失和非法状态。

金额累加没有这种天然的状态限制,重复加一次就会多一笔,需要唯一业务流水或去重记录保护。调用外部支付时,也要向下游传递稳定幂等键;如果超时后不知道是否已扣款,应通过查询或对账确认结果。

5. Exactly-once 的范围​

Exactly-once 要在明确的提交范围内理解:一次输入即使被重新计算,也只产生一次已提交的有效结果。Kafka 4.1 事务能把输出记录与消费进度 offset 一起原子提交,适用于从 Kafka 读取、处理后再写回 Kafka 的流程。

事务消费端设置 enable.auto.commit=false,让进度随事务提交。生产者配置稳定且独占的 transactional.id,每批处理开启事务,写出结果后调用 sendOffsetsToTransaction,最后提交事务。成功时,输出和进度一起提交;事务失败、输入重放时,则重新计算结果。

下游消费者设置 isolation.level=read_committed 后,只能读到事务已经提交的记录,失败事务的输出对它不可见;非事务消息仍正常返回。因此,重新计算不等于向下游重复发布已提交的结果。

MySQL 提交和外部 API 调用不属于这段 Kafka 事务。涉及这些结果时,仍需本地事务去重、Outbox 或下游幂等协议。Outbox 是把待发布事件与业务更新一起保存、再由后台发布的方式。Kafka 幂等生产者本身也只处理生产协议重试造成的重复写入,不能代替业务去重。

6. 按业务键保证顺序​

要保持同一订单的处理顺序,消息存放和消费者执行都要按同一个业务键组织。Kafka 可以把同一订单的事件固定写入同一 partition(分区),普通消费者组同时只把这个分区分配给一个消费者。但消费者若再把消息随意分发到多个线程,后来的任务仍可能先完成,所以内部也要按业务键串行。

增加分区可能改变部分键的映射。迁移时,要安排好旧分区存量与新分区事件的先后关系。多个生产者同时发送同一订单的事件时,也不能只靠到达顺序判断业务先后,需要业务版本来表达。

RabbitMQ 的多个消费者和 requeue(重新入队)也可能改变完成顺序。要求同一业务键严格串行时,要限制这个键同时在处理的任务数量。如果某条消息持续失败,还要明确它是否阻塞后续事件;这种反复失败的消息也称为毒消息。

7. 版本号​

版本检查怎样处理乱序,取决于消息包含完整状态还是一次变化。完整快照包含某个版本下的全部目标状态,保存了新快照后,旧快照可以跳过:

UPDATE search_projection
SET payload = ?, version = 3
WHERE aggregate_id = ? AND version < 3;

示例假设记录已经存在,payload 是版本 3 的完整快照。只有当前版本小于 3 才更新;版本 2 随后到达时,同样的版本检查会跳过它,避免旧状态覆盖新状态。首次创建记录还需要一条受唯一键保护的插入路径。

增量事件只描述一次变化,不能因为版本旧就直接丢弃。例如版本 2 是加 10,版本 3 是减 5。两次都执行,合计应增加 5;如果先减 5 再跳过加 10,结果就少了 10。因此,消费者需要检查 expected_version,确认前序变化已完成,或者暂存当前事件、先补齐缺口。

业务版本应由权威写入端生成并单调递增。直接用机器的时间戳排序不够可靠:不同机器的时钟可能偏移,同一时间精度内也可能产生多个事件。

8. 重新均衡与超时​

重新均衡是消费者组重新分配分区的过程。Kafka 的 max.poll.interval.ms 限制两次 poll 调用的间隔,处理过久可能使成员失效、分区被交给别的消费者。静态成员的具体转移时机还受会话超时影响。

失去分区不等于旧任务立刻停止。旧线程仍可能完成数据库写入,而新消费者已经开始处理同一条消息。因此,数据库去重和版本约束必须独立生效,不能把分区归属当成业务写入的互斥保证。

分区被撤销时,应停止领取新任务,并协调还没完成的工作。确实需要长时间运行的任务,可以先持久化为独立作业,再确认作业创建结果,让后续执行有自己的恢复状态。

9. 结果核对​

幂等是否生效,要同时观察被拦住的重复和最终业务结果。监控去重命中、旧版本跳过、非法状态及处理延迟;去重命中突然增多时,检查生产重试和消费者重启。

关键业务还要把源事件与最终流水对照,确认每个应完成的动作都有结果。幂等记录表示动作已经完成,它的载荷校验、保留期限和清理规则,都必须与恢复方案一致。

10. 常见问题​

10.1 用 synchronized 能避免重复消费吗?​

不能。synchronized 只协调当前进程里的线程,其他实例和重启后的消费者仍然可能收到同一消息。持久化去重记录才能让它们共同判断动作是否完成,进程内互斥可以作为局部优化。

10.2 只用一个线程消费,就能保证业务顺序吗?​

11. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 2 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明