跳到主要内容

消息队列

消息队列在生产者与消费者之间保存并传递消息,让提交工作和执行工作不必同时完成。生产者先发布,消费者再按自己的处理能力读取;短时间内来不及处理的消息,可以先积压在队列里。

Kafka 和 RabbitMQ 都能完成这件事,但组织消息的方式不同:Kafka 保存可重复读取的分区日志,RabbitMQ 常规队列通过路由分发消息,并追踪每次投递是否完成。选型时,要从保留、重放、路由和确认方式判断是否满足业务需求。本文比较 Kafka 4.1 的普通消费者组与 RabbitMQ 4.1 队列。

1. 面试核心​

先记住这几条,再读正文
  • Kafka 按 partition 保存日志,用 offset 标识位置;消费读取不会直接删除记录。卡 · Kafka 分区日志
  • 普通消费者组内,一个 partition 同时只分配给一个消费者;不同组可以独立读取同一份日志。
  • broker 保存分区的副本,消费者组分配的是逻辑分区;broker、分区、副本和消费者数量不能互相等同。卡 · Broker、分区副本与消费并行度
  • RabbitMQ 的 exchange 根据 binding 把消息路由到一个或多个 queue,同一队列的消费者分担处理。
  • Kafka 的日志保留独立于消费进度;compact 按键清理旧记录,不保留完整历史。卡 · 保留与日志压缩
  • Redis 能承担消息传递,但 Pub/Sub、List、Stream 的恢复责任不同,要与专用 MQ 的模式及运维能力逐项比较。卡 · RocketMQ 与 Redis 的职责比较
  • 队列只能吸收暂时的速率差。持续入流超过消费能力时,积压会一直增长,削峰要同时考虑存储容量和后续消费余量。恢复前应先定位失败、慢下游和热点分区。卡 · 综合题

2. 消息队列的作用​

消息队列把生产和消费拆成两个阶段,缓冲短时流量差,也让部分下游故障不必立刻阻塞上游。例如,上游已经提交了任务,下游暂时繁忙,可以稍后再处理。

代价是结果不再立即完成,系统还多了发布失败、处理失败和重试的恢复流程。因此,业务接口要区分「已接收」「已处理」和「最终完成」。异步提交时可以先返回任务标识,再让调用方查询结果,不能把发布成功直接当成业务成功。

3. Kafka 分区日志​

topic 是 Kafka 组织同类记录的主题,每个 topic 又分成多个 partition(分区)。记录追加到分区日志中,用 offset 标识它在分区里的位置。消费者读取以后,记录仍然保留,什么时候清理由日志策略决定。

consumer group(消费者组)是一组共同分担读取工作的消费者。普通组内,同一个分区同时只分配给一个消费者;如果消费者比分区多,多出来的消费者就没有分区可处理。不同组则独立保存进度,所以同一批事件可以被多个业务各读一遍。

这里讨论的是 KafkaConsumer 的普通消费者组。Kafka 4.1 的 Share Groups 使用另一套共享投递机制,不适用上述独占分区的分配规则。

3.1 Broker、分区副本与消费并行度​

broker 是 Kafka 集群中保存和服务分区日志的服务器进程。一台 broker 可以保存多个分区的副本,同一分区的多个副本放在不同 broker 上。分区的 leader 负责接收写入,follower 跟随复制;默认读取也由 leader 服务,特定副本读取配置另有选择。消费者组分配的是逻辑分区,不是把副本分别当作独立任务交给消费者。

因此,“3 台 broker、5 个 consumer”不能唯一推出一个 topic 应设多少分区。先确认这 5 个消费者是否在同一个普通组、是否只订阅这个 topic,以及是否希望它们都分到工作:

  • 若只有 3 个分区,同组最多有 3 个消费者持有分区,另 2 个闲置;增加副本不会提高这个并行上限。
  • 若有 5 个分区,在订阅相同且正常分配的条件下,可以让 5 个消费者各处理一个。但这只满足分配条件,不代表吞吐一定足够或负载一定均匀。
  • 多于 5 个分区时,一个消费者可以分到多个分区,也给以后扩容留下空间;代价是更多日志、副本复制、元数据和重新分配开销。

分区数应结合目标入流、实测每分区及每消费者的处理能力、业务键是否倾斜、顺序要求和后续扩容空间决定。broker 数约束副本能分散到多少服务器,副本因子约束容错和存储成本,两者都不等于分区数。一个热点业务键若必须保持串行顺序,即使增加消费者,也不能自动把它拆开并行。

消费者加入普通组后会引起组内分区重新分配。扩容期间要处理在途消息和提交进度,重新分配后的重复及旧任务风险见 消息幂等性。扩容成功不能只看实例数,还应看分区是否分到新成员、实际完成速率是否提高。

4. RabbitMQ 路由​

RabbitMQ 先决定消息应该进入哪些队列,再由消费者处理。生产者把消息发布到 exchange(交换机),交换机依据 binding(与队列之间的绑定规则)选择目标 queue。消息上的 routing key 是参与匹配的路由键,一次发布可以进入多个匹配的队列。

交换机类型决定匹配规则:

exchange 类型匹配方式
directrouting key 与 binding key 精确匹配
topic按点分词匹配,* 匹配一个词,# 匹配零个或多个词
fanout路由到所有绑定的队列
headers按头部属性和匹配规则选择队列

同一个队列的多个消费者分担消息。如果两个独立业务都需要收到一份,就应各自使用队列,再让交换机把消息路由过去。

常规队列的消息被消费者确认后可以删除,所以它的消费状态与消息生命周期紧密相关。RabbitMQ Streams 采用的是保留日志模型,不能把常规队列的删除规则直接套过去。

5. 消费进度​

读到消息和完成处理,是两个不同的进度。Kafka 的 position 是下一条待返回记录的位置,committed offset 则是故障恢复后继续读取的位置。手动提交时,应提交连续完成范围之后的下一个位置,避免恢复时跳过还没完成的记录。

RabbitMQ 手动确认模式追踪的是哪些投递还没被确认。Channel(通道)或连接关闭后,这些消息会重新入队。因此,业务已经完成但确认没有送达时,消费者仍可能再次收到同一消息,确认时机见消息可靠性。

6. 保留与日志压缩​

Kafka 消费之后能否重放,要看记录是否还在保留范围内,不能只看消费进度。cleanup.policy=delete 按时间或大小清理 segment,也就是分区日志的一段。即使某个消费者还没读到,超过保留范围的旧数据也可能被清除。

日志压缩(compaction)按消息键清理较旧的记录,用来保留各键的最新状态。设置 cleanup.policy=compact 后,清理在后台进行,不会改写保留下来的记录顺序和原 offset。因此,压缩后的 offset 可能有空洞,不能假设每个数字都对应一条仍存在的记录。

同一个键的值为 null 时,表示删除该键,这条记录叫 tombstone(删除标记)。删除标记本身也有保留期限,消费者落后太久可能错过删除,无法据此清除自己的旧状态。因此,压缩日志适合恢复键的最新状态;需要完整历史审计时,要另外保留事件。

7. 消息顺序​

Kafka 保证分区内记录按 offset 排列,但业务完成顺序还取决于分区映射和消费者怎样并发执行。例如先读到 A、再读到 B,把它们交给两个线程后,B 仍可能先完成。

要维护同一业务对象的顺序,需要同时约束消息分区和消费执行。重复、重新入队和版本处理的具体规则见消息幂等性。

8. 投递语义​

投递语义描述发生失败和重试时,系统对消息处理结果作出什么保证。讨论时必须说清楚保证覆盖的是哪一段:

语义结果约束
At-most-once(至多一次)每条至多处理一次,失败时允许漏处理
At-least-once(至少一次)通过重试保证交付,消费者要接受重复
Exactly-once(恰好一次)在明确的提交范围内产生一次有效结果

这些保证都依赖持久化、保留和恢复条件。消息系统内部的提交保证,也不自动覆盖数据库更新或外部 API 调用。Kafka 事务具体覆盖哪些操作,见消息幂等性。

9. 选型​

选择消息系统,先明确消息要保留多久、是否需要重放,以及消费失败后怎样继续。不同需求对应的比较重点如下:

需求重点比较
事件流长期保留、多组独立重放Kafka 分区日志与保留策略
按键维护最新状态Kafka compact 与 tombstone 的保留窗口
复杂消息路由、逐条任务确认RabbitMQ exchange、queue 与 ack
短时流量削峰队列容量、消费余量和消息时效

Kafka 可以通过分区、批量和顺序 I/O 扩展吞吐,RabbitMQ 便于表达多种路由和逐条投递控制。确定模型适合之后,还要验证客户端支持、故障恢复方式和运维成本,不能只凭一个吞吐数字做决定。

9.1 RocketMQ 与 Redis 的职责比较​

Redis 可以承担消息传递,但要先说清用的是 Pub/Sub、List 还是 Stream。 它们的恢复能力不同,不能统一概括为“Redis 没有确认”,也不能因为已有 Redis 就默认不需要专用消息系统。

方案已有能力与需要补齐的责任
Redis Pub/Sub面向在线订阅者,至多一次投递;断线期间的通知不会作为待消费历史保存,不适合直接承担必须恢复的任务
Redis List简单弹出后崩溃会留下处理缺口;可原子移到处理中列表,成功后移除,但超时扫描、重投递和失败隔离仍需组织
Redis Stream有追加日志、消费者组、待确认记录与认领;仍要设计裁剪窗口、认领时机、重试上限和失败处理
RocketMQ围绕 topic、消费组和消息投递提供专用机制;例如 4.x PushConsumer 的集群消费模式支持失败重试及超过上限后的死信处理,广播模式不能直接套用这套重试保证

Redis 6、7 的 Stream 确认与消息保留是两个独立动作,具体机制见 Redis 数据结构。无论使用 Redis 还是 RocketMQ,故障后能恢复多少消息都依赖持久化、复制、保留和实际部署,不能把“支持队列”当成绝不丢失或绝不重复的承诺。

比较时把恢复责任列出来:哪些由客户端和服务端已有机制承担,哪些需要自己写和维护;积压能保留多久,怎样监控、扩容和隔离;缓存与消息是否共用资源,故障会影响哪些业务。专用 MQ 也需要独立运维与容量规划。项目中选择 RocketMQ 的回答应落在这些实际需求和取舍上,没有项目数据时不编造吞吐或事故经历。

10. 常见问题​

10.1 Kafka 能像任务队列一样分担工作吗?​

可以。一个普通消费者组能让成员分别处理不同分区,从而分担 topic 的工作。区别是读取不会删除消息,记录仍由保留策略管理;再增加一个消费者组,还能独立读取同一份日志。

10.2 接入消息队列后,就不用担心流量高峰了吗?​

10.3 消息已经积压,怎样定位并恢复?​

11. 面试题卡片​

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明