消息可靠性
消息可靠性要覆盖从发布到业务完成的整条链路:消息有没有被接收和保存,消费者有没有完成业务,处理进度有没有确认。某一段成功,不能代表后面的阶段也成功。例如,发布确认只说明消息系统完成了对应的接收操作,并不说明消费者已经处理。
本文以 Kafka 4.1 与 RabbitMQ 4.1 为例。理解这个主题,需要沿着链路判断:哪里失败会丢失,哪里失败会重复,重试用尽后又怎样找到并恢复这条消息。
1. 面试核心
先记住这几条,再读正文- RabbitMQ 的 publisher confirm 确认发布阶段,consumer ack 确认消费阶段,两者相互独立。卡 · 综合题
- 不可路由消息也可能得到发布确认。启用
mandatory时,broker 会先发basic.return,客户端必须处理返回结果。卡 · 生产者确认 - Kafka 的
acks=all等待 ISR 中全部副本确认,min.insync.replicas限定允许成功写入的最低同步副本数。卡 · 生产者确认 - 业务完成后再确认消费进度。并行消费 Kafka 时,只能提交连续完成范围之后的位置,不能越过未完成的记录。卡 · 消费者确认时机
- 失败可以有限即时重试或延迟重试,重试时保留原消息 ID;终止重试的消息进入可查询、可恢复的失败流程。
2. 生产者确认
生产者确认是消息服务器向发布方报告接收结果的机制,消息服务器也称为 broker。RabbitMQ 的 publisher confirm 与消费者发出的 consumer ack 相互独立,发布方收到确认时,消费者不一定已经开始处理。
对于可路由消息,broker 在所有目标队列接收后才确认发布。持久消息进入持久队列时,确认还涉及持久化;使用 quorum queue(仲裁队列)时,则要求多数副本接受。
没有任何队列匹配的消息,也可能得到 publisher confirm。发布时设置 mandatory=true,broker 会先用 basic.return 返回不可路由的消息,再给出发布确认。因此客户端要同时处理返回消息和确认结果,不能只看到 confirm 就认定消息已进入目标队列。
Kafka 的生产确认由 acks 控制,它与消费者提交 offset 是两件事:
| 配置 | 生产者等待什么 | 故障边界 |
|---|---|---|
acks=0 | 不等待 broker 确认 | 无法据此确认 broker 已收到,生产者也无法依靠服务端响应重试这次发送 |
acks=1 | Leader 写入本地日志后返回 | 若尚未复制就故障,已确认消息仍可能丢失 |
acks=all(或 -1) | 当前同步副本集合的确认 | 仍要结合最低同步副本数和副本故障范围判断可靠性 |
ISR(In-Sync Replicas)是保持同步的副本集合,acks=all 等待其中的全部副本确认;min.insync.replicas 则规定这类写入至少需要多少个同步副本。以副本数为 3、min.insync.replicas=2 为例:
- ISR 有 3 个副本,
acks=all等待这 3 个副本,而不是任取两个。 - ISR 收缩到 2 个,仍满足最低要求,等待这 2 个确认。
- ISR 只剩 1 个,写入返回副本不足错误,不会降为单副本成功。
enable.idempotence=true 用来处理生产者协议重试造成的重复写入。Kafka 4.1 要求配合 acks=all、大于 0 的 retries,以及 max.in.flight.requests.per.connection<=5。这些配置不能识别应用主动再次发送的同一业务动作,后者仍需业务 ID 去重。
即使发布确认可靠,数据库提交与消息发布之间仍有双写窗口:数据库成功后,发布可能失败。Outbox 把业务变化和待发布事件保存在同一数据库事务里,后台根据事件记录发布;失败后还能继续尝试,避免只更新业务却丢了消息。
3. 消费者确认时机
消费进度应在业务提交后确认。提前确认后如果业务失败,恢复时可能直接跳过这条消息;先提交业务再确认,则可能在两步之间崩溃,导致消息重复。后一种情况可以用消息幂等性处理。
Kafka 的 committed offset 表示故障恢复后要读取的下一位置。假设 offset 为 10、11、12 的三条记录并行处理,10 和 12 已完成,11 还没完成,此时最多提交 11。提交 13 就是在告诉系统「前面都处理好了」,重启后会跳过实际没完成的 11。
应用自己追踪完成情况时,应设置 enable.auto.commit=false,逐分区维护连续完成的位置,再提交 offset。不能只取已完成任务中最大的 offset。
RabbitMQ 的 delivery tag 是一次投递在当前 Channel(通道)中的标识,只能在接收消息的 Channel 上确认。multiple=true 会一次确认该 tag 及之前所有未确认投递,因此并发处理时,也不能让较晚完成的确认越过前面还没完成的任务。
prefetch 限制未确认的投递数量。增大它能让更多消息同时在处理,但也会增加内存占用;消费者故障时,这批未确认消息还可能一起重投。
4. 即时重试
即时重试适合很快可能恢复的故障,例如短暂连接失败,但要限制次数和总处理时间。可以逐渐拉长等待间隔,这叫退避;再加入随机偏移,也就是抖动,避免多个消费者同时反复请求下游。
参数错误或消息结构不符合要求时,重复执行通常不会改变结果,应记录失败并进入后续处理流程。RabbitMQ 的 requeue 会把消息重新入队,如果持续失败还立即重投,就会形成循环,占满消费者并反复冲击下游。
5. 延迟重试
延迟重试是把下一次尝试安排到稍后,让消费者不必一直等待当前故障恢复。失败消息可以转入 retry topic 或 retry queue,保留原 ID,同时记录尝试次数和下次执行时间,例如按 10 秒、1 分钟、10 分钟逐步拉长间隔。
Kafka 的 retry topic 本身不会按时间自动延迟交付,需要消费端或调度组件检查到期时间。RabbitMQ 可以利用 TTL(消息存活时间)和 DLX(死信交换机):让消息在等待队列中过期,再转发出去。
这两种方案都要检查具体的等待与顺序规则。RabbitMQ 在同一队列里混用长短不同的单条消息 TTL,短延迟消息可能被前面的长延迟消息挡住,形成队头等待。把失败消息移到重试通道,也可能让后来的消息先完成;顺序敏感的业务需要决定是否暂停同键后续消息。
6. 死信队列
死信队列保存无法继续正常处理、需要后续排查或恢复的消息。RabbitMQ 通过配置 DLX,把符合条件的消息转发到其他队列:消息被拒绝且不重新入队、消息过期、达到队列长度限制,都可能触发死信;quorum queue 超过 delivery-limit 时也可以这样处理。
应用自己的重试次数超限后,要显式把消息转入对应失败流程,不能假设 broker 知道应用已经试过几次。Kafka 的死信 topic 同样由应用或框架实现。
为了之后能够恢复,死信要保留原消息 ID、业务键、来源、错误类别、尝试次数,以及首次和最后失败时间。修复后再限速重放,并记录处理结果,才能知道哪些消息已经恢复、哪些还需继续处理。
7. 死信转发失败
配置了 DLX,不代表死信转发一定成功。RabbitMQ 默认的 dead-lettering 采用 at-most-once(至多一次)转发,目标不可用时存在丢失窗口。
RabbitMQ 4.1 的源 quorum queue 可以启用至少一次死信转发,让源队列保留消息,直到内部转发获得确认。需要满足这些配置条件:
dead-letter-strategy=at-least-once。overflow=reject-publish。- 配置
dead-letter-exchange和有效路由。 - 确认
stream_queuefeature flag 已启用。
这样,目标故障时消息仍在源队列等待,代价是继续占用源队列容量。因此还要限制容量、监控积压;转发重试也可能产生重复,目标消费仍需幂等。
转发会保留原消息的 delivery mode(投递模式)。如果要求目标重启后消息仍存在,应使用持久目标队列,并在向源队列发布时把消息设为持久化。
8. 重放
重放是把保留下来的消息重新交给消费者处理,用于恢复失败或补齐结果。重放时保留原始消息 ID,让消费者仍能识别重复;另加执行批次标识,用来追踪本次恢复。
开始之前,要确认旧消息格式和当前消费逻辑仍然兼容。重放速率由下游剩余容量决定,不能为了清空积压把正常请求拖慢。顺序敏感的数据按键处理,并支持暂停和断点续跑,避免一次中断又从头执行。
9. 端到端指标
可靠性不能只看 broker 是否接收成功,还要核对最终业务结果。发布侧分别记录发布失败、路由失败和副本状态;消费侧观察 lag(消费进度落后程度)、未确认数量、失败率和最老消息等待时间。
重试与死信通道也要观察转发是否成功、目标消息是否相应增加。关键链路再用事件 ID 对照最终业务结果,才能发现「消息系统已接收,但业务没有完成」的情况。
10. 常见问题
10.1 收到 publisher confirm 就能认为消息处理成功了吗?
不能,它只确认发布阶段。消息可能没有匹配到队列,这需要结合 mandatory 和 basic.return 判断;即使已进入队列,也还要由 consumer ack 单独表达消费完成。
10.2 消费失败后立即重新入队,可以一直重试吗?
不可以。立即重投适合很短的故障恢复窗口,持续失败时应延迟并限制次数。无法靠重试解决的错误要进入死信或人工修复状态,否则同一条消息会不断占用处理能力。
11. 面试题卡片
12. 参考资料
- RabbitMQ:Reliability Guide
- RabbitMQ:Consumer Acknowledgements and Publisher Confirms
- RabbitMQ:Dead Letter Exchanges
- Apache Kafka Documentation
- RabbitMQ 4.1:Confirms
- RabbitMQ 4.1:Quorum Queues
- RabbitMQ 4.1:Dead Letter Exchanges
- RabbitMQ 4.1:TTL
- Kafka 4.1:Producer Configs
- Kafka 4.1:Topic Configs
- Kafka 4.1:KafkaConsumer
- Debezium:Outbox Event Router
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明