消息幂等性
消息幂等性是指同一业务动作被重复处理时,最终结果与只处理一次相同。例如,同一条记账消息无论重投多少次,最终都只能记一笔账。它解决的是业务结果能否安全重试,而不要求消息只到达一次。
设计消费者时,需要同时回答重复和乱序两个问题:怎样识别已经完成的动作,旧消息晚到时还能不能执行。本文的 Kafka 示例采用 4.1 的普通消费者组。
1. 面试核心
先记住这几条,再读正文2. 处理与确认之间的故障窗口
业务完成后、消费确认前崩溃,是消息重复到达的一种原因。例如,消费者已提交记账事务,还没告诉消息系统「处理完成」就退出了。恢复后,消息系统只能按未确认处理,再投递一次。
把确认移到业务提交之前也不能解决问题:确认后如果业务失败,消息可能不会再被处理。两种顺序的差别见消息可靠性。
因此,消费者要接受重复到达,并根据持久化状态判断动作是否已经完成。只在当前进程里记住「处理过」,重启后就失效了。
3. 幂等键
幂等键是用来识别同一业务动作的稳定标识,可以是 event ID 或 command ID。重试必须复用原键,否则消费者会把重试当成新动作;两次独立动作即使内容相同,也应使用不同的键。
RocketMQ 的消费重试也需要这层业务去重。不能只因两条消息的 msgId 不同,就认定它们是不同业务动作:应用重新发送同一动作时,消息标识可能变化。应把稳定的业务动作标识放进消息,例如「订单 1001 的支付事件」,由消费者用它建立唯一约束;订单 ID 本身则未必够用,因为同一订单还可能发生退款等独立动作。
去重记录要与业务更新放进同一事务。下面先登记记账事件,再执行对应的记账更新:
BEGIN;
INSERT INTO consumed_event(consumer_name, event_id)
VALUES ('accounting', 'event-1001');
-- 在同一事务中执行记账更新。
COMMIT;
consumed_event 需要对 (consumer_name,event_id) 建立唯一约束。只有 INSERT 成功才继续记账,任一步失败都回滚。这样,记录存在就能表示这次业务更新已经一起提交;多个实例同时处理相同消息时,也由数据库唯一约束协调。
处理冲突时,要确认报错来自这条去重约束,才能据此核对已有结果。其他唯一约束错误仍然是业务失败,不能一律当成「处理过了」。还应核对重复消息的载荷,防止同一个键被错误地用于不同动作。
去重记录至少要保留到可重放窗口结束。清理太早,旧事件重放时就会被再次当成新动作。consumer_name 则限定了记录的适用范围:一个消费者完成记账,不代表另一个消费者也完成了自己的工作。
4. 幂等的状态转换
有些动作可以直接用业务状态判断是否需要执行,不必另建去重表。条件状态转换是只在对象处于指定状态时才更新它,例如只把待支付订单改成已支付:
UPDATE orders
SET status = 'PAID', paid_at = ?
WHERE order_id = ? AND status = 'PENDING';
首次执行把 status 从 PENDING 改成 PAID。重复执行时,条件不再成立,影响行数是 0。但 0 行也可能表示订单不存在,或者订单处于其他状态,因此还要读出结果,区分已完成、记录缺失和非法状态。
金额累加没有这种天然的状态限制,重复加一次就会多一笔,需要唯一业务流水或去重记录保护。调用外部支付时,也要向下游传递稳定幂等键;如果超时后不知道是否已扣款,应通过查询或对账确认结果。
5. Exactly-once 的范围
Exactly-once 要在明确的提交范围内理解:一次输入即使被重新计算,也只产生一次已提交的有效结果。Kafka 4.1 事务能把输出记录与消费进度 offset 一起原子提交,适用于从 Kafka 读取、处理后再写回 Kafka 的流程。
事务消费端设置 enable.auto.commit=false,让进度随事务提交。生产者配置稳定且独占的 transactional.id,每批处理开启事务,写出结果后调用 sendOffsetsToTransaction,最后提交事务。成功时,输出和进度一起提交;事务失败、输入重放时,则重新计算结果。
下游消费者设置 isolation.level=read_committed 后,只能读到事务已经提交的记录,失败事务的输出对它不可见;非事务消息仍正常返回。因此,重新计算不等于向下游重复发布已提交的结果。
MySQL 提交和外部 API 调用不属于这段 Kafka 事务。涉及这些结果时,仍需本地事务去重、Outbox 或下游幂等协议。Outbox 是把待发布事件与业务更新一起保存、再由后台发布的方式。Kafka 幂等生产者本身也只处理生产协议重试造成的重复写入,不能代替业务去重。
6. 按业务键保证顺序
要保持同一订单的处理顺序,消息存放和消费者执行都要按同一个业务键组织。Kafka 可以把同一订单的事件固定写入同一 partition(分区),普通消费者组同时只把这个分区分配给一个消费者。但消费者若再把消息随意分发到多个线程,后来的任务仍可能先完成,所以内部也要按业务键串行。
增加分区可能改变部分键的映射。迁移时,要安排好旧分区存量与新分区事件的先后关系。多个生产者同时发送同一订单的事件时,也不能只靠到达顺序判断业务先后,需要业务版本来表达。
RabbitMQ 的多个消费者和 requeue(重新入队)也可能改变完成顺序。要求同一业务键严格串行时,要限制这个键同时在处理的任务数量。如果某条消息持续失败,还要明确它是否阻塞后续事件;这种反复失败的消息也称为毒消息。
7. 版本号
版本检查怎样处理乱序,取决于消息包含完整状态还是一次变化。完整快照包含某个版本下的全部目标状态,保存了新快照后,旧快照可以跳过:
UPDATE search_projection
SET payload = ?, version = 3
WHERE aggregate_id = ? AND version < 3;
示例假设记录已经存在,payload 是版本 3 的完整快照。只有当前版本小于 3 才更新;版本 2 随后到达时,同样的版本检查会跳过它,避免旧状态覆盖新状态。首次创建记录还需要一条受唯一键保护的插入路径。
增量事件只描述一次变化,不能因为版本旧就直接丢弃。例如版本 2 是加 10,版本 3 是减 5。两次都执行,合计应增加 5;如果先减 5 再跳过加 10,结果就少了 10。因此,消费者需要检查 expected_version,确认前序变化已完成,或者暂存当前事件、先补齐缺口。
业务版本应由权威写入端生成并单调递增。直接用机器的时间戳排序不够可靠:不同机器的时钟可能偏移,同一时间精度内也可能产生多个事件。
8. 重新均衡与超时
重新均衡是消费者组重新分配分区的过程。Kafka 的 max.poll.interval.ms 限制两次 poll 调用的间隔,处理过久可能使成员失效、分区被交给别的消费者。静态成员的具体转移时机还受会话超时影响。
失去分区不等于旧任务立刻停止。旧线程仍可能完成数据库写入,而新消费者已经开始处理同一条消息。因此,数据库去重和版本约束必须独立生效,不能把分区归属当成业务写入的互斥保证。
分区被撤销时,应停止领取新任务,并协调还没完成的工作。确实需要长时间运行的任务,可以先持久化为独立作业,再确认作业创建结果,让后续执行有自己的恢复状态。
9. 结果核对
幂等是否生效,要同时观察被拦住的重复和最终业务结果。监控去重命中、旧版本跳过、非法状态及处理延迟;去重命中突然增多时,检查生产重试和消费者重启。
关键业务还要把源事件与最终流水对照,确认每个应完成的动作都有结果。幂等记录表示动作已经完成,它的载荷校验、保留期限和清理规则,都必须与恢复方案一致。
10. 常见问题
10.1 用 synchronized 能避免重复消费吗?
不能。synchronized 只协调当前进程里的线程,其他实例和重启后的消费者仍然可能收到同一消息。持久化去重记录才能让它们共同判断动作是否完成,进程内互斥可以作为局部优化。
10.2 只用一个线程消费,就能保证业务顺序吗?
不能保证端到端顺序。单线程只能按当前进程拿到消息的顺序执行;分区映射、重新入队和重新均衡仍可能改变到达顺序。最终写入还要遵守业务键与版本规则,不能把「先收到」直接当成「业务上先发生」。
11. 面试题卡片
12. 参考资料
- Apache Kafka Documentation
- RabbitMQ:Reliability Guide
- RabbitMQ:Semantics and Guarantees
- Kafka 4.1:Design
- Kafka 4.1:Consumer Configs
- MySQL 8.0:InnoDB Error Handling
- Debezium:Outbox Event Router
- RocketMQ:Consumer Best Practices
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明