消息队列
消息队列在生产者与消费者之间保存并传递消息,让提交工作和执行工作不必同时完成。生产者先发布,消费者再按自己的处理能力读取;短时间内来不及处理的消息,可以先积压在队列里。
Kafka 和 RabbitMQ 都能完成这件事,但组织消息的方式不同:Kafka 保存可重复读取的分区日志,RabbitMQ 常规队列通过路由分发消息,并追踪每次投递是否完成。选型时,要从保留、重放、路由和确认方式判断是否满足业务需求。本文比较 Kafka 4.1 的普通消费者组与 RabbitMQ 4.1 队列。
1. 面试核心
先记住这几条,再读正文- Kafka 按 partition 保存日志,用 offset 标识位置;消费读取不会直接删除记录。卡 · Kafka 分区日志
- 普通消费者组内,一个 partition 同时只分配给一个消费者;不同组可以独立读取同一份日志。
- broker 保存分区的副本,消费者组分配的是逻辑分区;broker、分区、副本和消费者数量不能互相等同。卡 · Broker、分区副本与消费并行度
- RabbitMQ 的 exchange 根据 binding 把消息路由到一个或多个 queue,同一队列的消费者分担处理。
- Kafka 的日志保留独立于消费进度;compact 按键清理旧记录,不保留完整历史。卡 · 保留与日志压缩
- Redis 能承担消息传递,但 Pub/Sub、List、Stream 的恢复责任不同,要与专用 MQ 的模式及运维能力逐项比较。卡 · RocketMQ 与 Redis 的职责比较
- 队列只能吸收暂时的速率差。持续入流超过消费能力时,积压会一直增长,削峰要同时考虑存储容量和后续消费余量。恢复前应先定位失败、慢下游和热点分区。卡 · 综合题
2. 消息队列的作用
消息队列把生产和消费拆成两个阶段,缓冲短时流量差,也让部分下游故障不必立刻阻塞上游。例如,上游已经提交了任务,下游暂时繁忙,可以稍后再处理。
代价是结果不再立即完成,系统还多了发布失败、处理失败和重试的恢复流程。因此,业务接口要区分「已接收」「已处理」和「最终完成」。异步提交时可以先返回任务标识,再让调用方查询结果,不能把发布成功直接当成业务成功。
3. Kafka 分区日志
topic 是 Kafka 组织同类记录的主题,每个 topic 又分成多个 partition(分区)。记录追加到分区日志中,用 offset 标识它在分区里的位置。消费者读取以后,记录仍然保留,什么时候清理由日志策略决定。
consumer group(消费者组)是一组共同分担读取工作的消费者。普通组内,同一个分区同时只分配给一个消费者;如果消费者比分区多,多出来的消费者就没有分区可处理。不同组则独立保存进度,所以同一批事件可以被多个业务各读一遍。
这里讨论的是 KafkaConsumer 的普通消费者组。Kafka 4.1 的 Share Groups 使用另一套共享投递机制,不适用上述独占分区的分配规则。
3.1 Broker、分区副本与消费并行度
broker 是 Kafka 集群中保存和服务分区日志的服务器进程。一台 broker 可以保存多个分区的副本,同一分区的多个副本放在不同 broker 上。分区的 leader 负责接收写入,follower 跟随复制;默认读取也由 leader 服务,特定副本读取配置另有选择。消费者组分配的是逻辑分区,不是把副本分别当作独立任务交给消费者。
因此,“3 台 broker、5 个 consumer”不能唯一推出一个 topic 应设多少分区。先确认这 5 个消费者是否在同一个普通组、是否只订阅这个 topic,以及是否希望它们都分到工作:
- 若只有 3 个分区,同组最多有 3 个消费者持有分区,另 2 个闲置;增加副本不会提高这个并行上限。
- 若有 5 个分区,在订阅相同且正常分配的条件下,可以让 5 个消费者各处理一个。但这只满足分配条件,不代表吞吐一定足够或负载一定均匀。
- 多于 5 个分区时,一个消费者可以分到多个分区,也给以后扩容留下空间;代价是更多日志、副本复制、元数据和重新分配开销。
分区数应结合目标入流、实测每分区及每消费者的处理能力、业务键是否倾斜、顺序要求和后续扩容空间决定。broker 数约束副本能分散到多少服务器,副本因子约束容错和存储成本,两者都不等于分区数。一个热点业务键若必须保持串行顺序,即使增加消费者,也不能自动把它拆开并行。
消费者加入普通组后会引起组内分区重新分配。扩容期间要处理在途消息和提交进度,重新分配后的重复及旧任务风险见 消息幂等性。扩容成功不能只看实例数,还应看分区是否分到新成员、实际完成速率是否提高。
4. RabbitMQ 路由
RabbitMQ 先决定消息应该进入哪些队列,再由消费者处理。生产者把消息发布到 exchange(交换机),交换机依据 binding(与队列之间的绑定规则)选择目标 queue。消息上的 routing key 是参与匹配的路由键,一次发布可以进入多个匹配的队列。
交换机类型决定匹配规则:
| exchange 类型 | 匹配方式 |
|---|---|
direct | routing key 与 binding key 精确匹配 |
topic | 按点分词匹配,* 匹配一个词,# 匹配零个或多个词 |
fanout | 路由到所有绑定的队列 |
headers | 按头部属性和匹配规则选择队列 |
同一个队列的多个消费者分担消息。如果两个独立业务都需要收到一份,就应各自使用队列,再让交换机把消息路由过去。
常规队列的消息被消费者确认后可以删除,所以它的消费状态与消息生命周期紧密相关。RabbitMQ Streams 采用的是保留日志模型,不能把常规队列的删除规则直接套过去。
5. 消费进度
读到消息和完成处理,是两个不同的进度。Kafka 的 position 是下一条待返回记录的位置,committed offset 则是故障恢复后继续读取的位置。手动提交时,应提交连续完成范围之后的下一个位置,避免恢复时跳过还没完成的记录。
RabbitMQ 手动确认模式追踪的是哪些投递还没被确认。Channel(通道)或连接关闭后,这些消息会重新入队。因此,业务已经完成但确认没有送达时,消费者仍可能再次收到同一消息,确认时机见消息可靠性。
6. 保留与日志压缩
Kafka 消费之后能否重放,要看记录是否还在保留范围内,不能只看消费进度。cleanup.policy=delete 按时间或大小清理 segment,也就是分区日志的一段。即使某个消费者还没读到,超过保留范围的旧数据也可能被清除。
日志压缩(compaction)按消息键清理较旧的记录,用来保留各键的最新状态。设置 cleanup.policy=compact 后,清理在后台进行,不会改写保留下来的记录顺序和原 offset。因此,压缩后的 offset 可能有空洞,不能假设每个数字都对应一条仍存在的记录。
同一个键的值为 null 时,表示删除该键,这条记录叫 tombstone(删除标记)。删除标记本身也有保留期限,消费者落后太久可能错过删除,无法据此清除自己的旧状态。因此,压缩日志适合恢复键的最新状态;需要完整历史审计时,要另外保留事件。
7. 消息顺序
Kafka 保证分区内记录按 offset 排列,但业务完成顺序还取决于分区映射和消费者怎样并发执行。例如先读到 A、再读到 B,把它们交给两个线程后,B 仍可能先完成。
要维护同一业务对象的顺序,需要同时约束消息分区和消费执行。重复、重新入队和版本处理的具体规则见消息幂等性。
8. 投递语义
投递语义描述发生失败和重试时,系统对消息处理结果作出什么保证。讨论时必须说清楚保证覆盖的是哪一段:
| 语义 | 结果约束 |
|---|---|
| At-most-once(至多一次) | 每条至多处理一次,失败时允许漏处理 |
| At-least-once(至少一次) | 通过重试保证交付,消费者要接受重复 |
| Exactly-once(恰好一次) | 在明确的提交范围内产生一次有效结果 |
这些保证都依赖持久化、保留和恢复条件。消息系统内部的提交保证,也不自动覆盖数据库更新或外部 API 调用。Kafka 事务具体覆盖哪些操作,见消息幂等性。
9. 选型
选择消息系统,先明确消息要保留多久、是否需要重放,以及消费失败后怎样继续。不同需求对应的比较重点如下:
| 需求 | 重点比较 |
|---|---|
| 事件流长期保留、多组独立重放 | Kafka 分区日志与保留策略 |
| 按键维护最新状态 | Kafka compact 与 tombstone 的保留窗口 |
| 复杂消息路由、逐条任务确认 | RabbitMQ exchange、queue 与 ack |
| 短时流量削峰 | 队列容量、消费余量和消息时效 |
Kafka 可以通过分区、批量和顺序 I/O 扩展吞吐,RabbitMQ 便于表达多种路由和逐条投递控制。确定模型适合之后,还要验证客户端支持、故障恢复方式和运维成本,不能只凭一个吞吐数字做决定。
9.1 RocketMQ 与 Redis 的职责比较
Redis 可以承担消息传递,但要先说清用的是 Pub/Sub、List 还是 Stream。 它们的恢复能力不同,不能统一概括为“Redis 没有确认”,也不能因为已有 Redis 就默认不需要专用消息系统。
| 方案 | 已有能力与需要补齐的责任 |
|---|---|
| Redis Pub/Sub | 面向在线订阅者,至多一次投递;断线期间的通知不会作为待消费历史保存,不适合直接承担必须恢复的任务 |
| Redis List | 简单弹出后崩溃会留下处理缺口;可原子移到处理中列表,成功后移除,但超时扫描、重投递和失败隔离仍需组织 |
| Redis Stream | 有追加日志、消费者组、待确认记录与认领;仍要设计裁剪窗口、认领时机、重试上限和失败处理 |
| RocketMQ | 围绕 topic、消费组和消息投递提供专用机制;例如 4.x PushConsumer 的集群消费模式支持失败重试及超过上限后的死信处理,广播模式不能直接套用这套重试保证 |
Redis 6、7 的 Stream 确认与消息保留是两个独立动作,具体机制见 Redis 数据结构。无论使用 Redis 还是 RocketMQ,故障后能恢复多少消息都依赖持久化、复制、保留和实际部署,不能把“支持队列”当成绝不丢失或绝不重复的承诺。
比较时把恢复责任列出来:哪些由客户端和服务端已有机制承担,哪些需要自己写和维护;积压能保留多久,怎样监控、扩容和隔离;缓存与消息是否共用资源,故障会影响哪些业务。专用 MQ 也需要独立运维与容量规划。项目中选择 RocketMQ 的回答应落在这些实际需求和取舍上,没有项目数据时不编造吞吐或事故经历。
10. 常见问题
10.1 Kafka 能像任务队列一样分担工作吗?
可以。一个普通消费者组能让成员分别处理不同分区,从而分担 topic 的工作。区别是读取不会删除消息,记录仍由保留策略管理;再增加一个消费者组,还能独立读取同一份日志。
10.2 接入消息队列后,就不用担心流量高峰了吗?
仍然要计算积压和恢复时间。如果每秒生产 2000 条、消费 1500 条,每秒就积压 500 条,持续 60 秒会积压 30000 条。队列要容纳这些消息,峰值结束后还要有额外的消费能力,才能逐步清空积压。
监控时既看消息数量,也看最老消息的等待时间。后者更接近业务体验:队列里即使消息不多,某个任务等了很久,也可能已经超过业务时限。
10.3 消息已经积压,怎样定位并恢复?
先找出有效消费速度为什么下降,再确定怎样追平积压。 只看队列长度或不断重启消费者,不能区分业务变慢、持续失败和负载倾斜。以 Kafka 为例,要把消费组及各分区的落后程度、最老未完成消息年龄、生产速率、业务成功处理速率放在一起看;读取很快但处理没完成,不等于积压已经消除。
| 观察到的现象 | 优先定位 | 恢复方向 |
|---|---|---|
| 失败和重试持续增加,同类消息反复出现 | 格式变更、不可恢复的业务错误、毒消息 | 修复兼容或业务问题,按受控策略隔离失败;顺序敏感业务不能随意跳过前一条 |
| 各分区都变慢,数据库或外部接口延迟上升 | 慢下游、连接池等待、限流与超时 | 先恢复下游或减少每条工作的成本;核对下游余量后再提高并发 |
| 只有少数分区长期落后 | 热点键、分区分布不均、某个消费者异常 | 检查分区与实例对应关系;允许拆分业务键时再调整分流,保持顺序时接受串行约束 |
| 消费能力稳定,但生产流量持续更高 | 容量不足或突发入流 | 在有效分区并行度和下游承载范围内扩容;必要时限制入流或降低非关键工作量 |
恢复前还要检查保留窗口和存储空间:Kafka 不会因为这个组没消费完就永远留下记录,消息年龄接近清理边界时要先制定保全或补偿方案。不能为了让 lag 变小直接跳过位点或提前提交;那可能只是把未完成工作隐藏了。
假设当前有 30000 条待处理,后续每秒仍进入 1000 条,恢复后的有效消费为每秒 1500 条,那么净追平速度只有每秒 500 条,在速率稳定且没有额外失败的简化条件下约需 60 秒。若消费与入流相等,只能停止继续增长,不能清空旧积压。这里计算的是有效完成能力,不是发起请求或读取消息的次数。
扩容按前面的分区上限判断是否真的增加并行度;恢复下游后逐步提高消费速率,避免把积压一次压回数据库。需要重放时保留消息身份、限制速率,并核对最终业务结果,具体流程见 消息可靠性及端到端指标。以积压量和年龄下降、失败率恢复以及业务结果补齐作为结束依据。
11. 面试题卡片
12. 参考资料
- Apache Kafka Documentation
- RabbitMQ:Exchanges
- RabbitMQ:Consumer Acknowledgements and Publisher Confirms
- Kafka 4.1:Design
- Kafka 4.1:Topic Configs
- Kafka 4.1:KafkaConsumer
- RabbitMQ 4.1:Queues
- RabbitMQ 4.1:Streams
- RocketMQ 4.x:Push Consumer,重试与死信的模式边界
- Redis:Pub/Sub 投递语义
- Redis:LMOVE 与处理中列表
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明