跳到主要内容
约 11 分钟4 张卡

缓存穿透、击穿、雪崩与热点 Key

缓存穿透、击穿和雪崩是三种让缓存挡不住请求的情况,结果都是流量集中打到数据库;热点 key 和大 key 则不一定穿过缓存,而是把单个 Redis 节点的 CPU、带宽或内存耗尽。区分它们的关键是看流量从哪来、影响多大范围:穿透查的是根本不存在的数据,击穿是一个热点 key 失效,雪崩是大量 key 或整个缓存同时失效。

穿透、击穿和雪崩都需要限制回源总量,保护数据库;热点 key 和大 key 还要控制 Redis 节点的资源开销。

1. 面试核心​

先记住这几条,再读正文
  • 穿透是持续查询不存在的数据,用空值缓存和布隆过滤器减少回源。卡 · 缓存穿透
  • 击穿是单个热点 key 失效引发并发加载,用 singleflight 把同一个 key 的加载合并成一次。
  • 雪崩是大量 key 同时到期或缓存节点故障,用 TTL 随机抖动分散到期时间,用回源限流保护数据库。
  • 识别热点要看同一窗口内的访问量,用时间队列与计数表维护窗口,再按阈值或 Top-K 找候选;多实例汇总不能只把本地排名合并。卡 · 综合题
  • 热点 key 固定路由到同一个分片,命中率再高也受单节点资源限制,可以用本地缓存分担读取。
  • Redis 4.0 起提供 UNLINK,把键的摘除和值的内存回收分开,减少删除大 key 时主线程的停顿。卡 · 热点 key

2. 缓存穿透​

缓存穿透是请求的数据在缓存和数据库里都不存在,每次都查不到、也就没有东西可以缓存,于是请求一直落到数据库。无效 ID、随机生成的 key、已经删除的对象都会造成穿透;如果是有人刻意构造请求,数据库压力会持续上升。

处理的思路是在越靠前的地方拦下越好:

  • 入口先检查参数格式、租户和访问权限,明显不合法的请求不往下走。
  • 对确认不存在的对象,缓存一个短期的空值,也叫负缓存。
  • 用布隆过滤器拦截「确定不在集合里」的 ID,见下一节。
  • 对异常来源限流,并按查询结果(命中、空值、失败)分别监控回源量。

使用负缓存时,要区分「数据不存在」和「数据库查询失败」。如果查询超时也被当成空值缓存起来,真实存在的数据在这段时间里就会被当成不存在。另外,新增对象后要清掉对应的负缓存,否则新数据要等空值过期才能被读到。

3. 布隆过滤器维护​

布隆过滤器用近似成员判断排除部分无效 ID:否定结果表示没有加入过,肯定结果只表示可能存在,仍需查询真实数据。位数组、共享位和误判条件见布隆过滤器;这里重点讨论如何让过滤器覆盖业务数据。

这个「不会漏判」有前提:元素确实已经加进了过滤器。数据库新增一条记录、还没同步到过滤器时,过滤器会把这个 ID 判为不存在,新数据就查不到了。需要保证新记录通过这条查询链路可见时,对应位也已可见;若只能异步更新,在覆盖尚未确认的阶段,就不能直接凭否定结果拒绝请求。整体重建时,可以先构建新过滤器、补齐重建期间的增量,再切换过去,重建期间保留回源或双读策略。

普通布隆过滤器不能直接清位删除。业务记录删除后可以暂时保留过滤器中的位,让后续查询回到真实数据源确认,再按需要重建;若采用计数变体,还要保证加入与删除匹配,不能凭可能存在就减计数,见删除边界。

Redis 6、7 里的 BF.* 命令来自 RedisBloom 模块,不属于核心 Redis。部署前要确认实例加载了这个模块。

4. 缓存击穿​

缓存击穿是一个热点 key 失效的瞬间,大量并发请求同时发现未命中,同时去数据库加载同一份数据。查询本身没问题,问题在于同一个昂贵的查询被执行了成百上千次。

singleflight 是解决这个问题的常见做法:同一个 key 同一时间只允许一个请求回源,其他请求等待并共享它的结果。等待的请求要设置队列上限和超时,否则回源一慢,等待的请求会越积越多。要注意进程内的 singleflight 只能合并本实例的请求,有 100 个实例就可能有 100 次回源,多实例部署时还需要全局的回源限额或跨实例协调。

另一种做法是逻辑过期:Redis 里的 key 不设 TTL,把业务上的到期时间存进值里。读到已经逻辑过期的值时,先把旧值返回给调用方,同时启动后台刷新。这样,刷新期间仍有旧值可读,代价是调用方拿到的可能不是最新数据,所以只适合允许短暂读取旧数据的接口。冷启动时还没有旧值可返回,仍然需要合并加载和失败处理。

用分布式锁做互斥重建时,锁的租约边界见分布式锁。

5. 缓存雪崩​

缓存雪崩是大量 key 在同一时间失效,或者缓存整体不可用,原本由缓存承接的请求一起落到数据库。前一种常见于同一批数据用相同的 TTL 写入,比如凌晨批量预热的数据会在同一时刻过期。

  • 基础 TTL 加上随机抖动,让同一批 key 的到期时间分散开。
  • 预热分批进行,限制每批的回源量。
  • 对数据库回源设置并发和队列上限。
  • 非关键接口返回可接受的旧值,或者明确的降级结果。
  • 缓存和数据库分别做容量测试,知道数据库在没有缓存时能扛多少。

TTL 抖动只能解决集中到期,解决不了节点故障。Redis 节点挂掉时,要靠高可用部署和回源保护一起兜住。

6. 热点 key​

热点 key 是访问特别集中的 key,可能让负责它的节点先达到容量上限。Redis Cluster 里一个 key 只会路由到一个分片,即使命中率是 100%,这个分片的 CPU 和网络带宽也是上限。

识别热点时先统计窗口内的 key 请求量,再结合各分片的 CPU 和网络流量判断影响。读热点可以在应用进程里加本地缓存分担。也可以把一个热点 key 复制成多个副本 key,读取时随机选一个,但要确认这些副本落在不同的槽和节点上。

分散副本时还要看 key 的 hash tag,也就是 {...} 包起来的部分。存在有效 hash tag 时,Redis 只用这部分计算槽。只改 tag 外面的后缀,比如 {item:1}:a 和 {item:1}:b,它们仍在同一个槽里,热点并没有分散。副本 key 更新时,还要处理所有副本的失效和版本一致。

写热点如果可以合并,比如计数,可以拆成多个分片计数再汇总。要求全局严格顺序的写入拆不开,只能统一协调。

6.1 怎样实时识别热点 key?​

先确定统计口径:要发现最近十秒的访问热点,就统计每个业务 key 在这个窗口内的请求量,而不是从启动以来累计的次数。采集位置也要一致,例如在业务入口统计对象访问,或在 Redis 客户端统计实际发送的命令;本地缓存命中的请求不一定会到 Redis,两种口径回答的问题不同。

一个便于解释的精确方案是时间队列加计数哈希表。时间队列按到达顺序记录 (时间, key),哈希表保存窗口内每个 key 的计数。使用单调的处理时间,窗口约定为 (当前时间 - 10 秒, 当前时间]:

  1. 新请求到达时,把已经落在窗口左边界及以前的记录从队首移出,对对应 key 的计数减一;减到零就删除该计数项。
  2. 将新记录追加到队尾,并把它的计数加一。
  3. 每秒查询一次窗口计数,查询前也先清理过期记录。即使没有新请求,旧热点也会随时间退出。

例如 item:1 在第 1 秒收到三次请求,第 8 秒收到两次请求,第 10 秒查询时计数为五;到第 11 秒,第 1 秒的三条记录已经在左边界上,应移出,计数降为二。这里的“实时”是请求到达后更新、每秒输出一次,不代表没有采集和计算延迟,也不代表按请求最初发生的时间处理乱序事件。

若窗口中有 R 条请求记录、U 个不同 key,队列和哈希表需要 O(R + U) 空间。哈希表更新平均为 O(1);每条记录只入队、出队各一次,清理的成本可分摊到这些请求,但某次清理积压的 E 条记录仍需 O(E),不能说每次操作都严格常数时间。

找出候选热点可以扫描这 U 个计数,用容量为 K 的最小堆保留最大的 K 个计数;当 2 ≤ K ≤ U 时,扫描成本为 O(U log K),堆占 O(K) 空间,最后有序输出还需 O(K log K)。K = 1 直接找最大值,K ≥ U 则对全部候选排序。Top-K 只说明相对排名,再结合绝对请求量阈值和分片容量,才能判断是否值得缓存或需要分散流量。若要求找出所有超过阈值的 key,应直接筛选计数表,不能让过小的 K 截掉一部分真正的热点。

请求量很高时,逐请求保存时间会占用太多内存。可以改为按秒分桶,只保存各桶内的 key 计数,旧桶退出时批量减去计数。这样空间与桶内不同 key 数有关,但窗口边界只能精确到桶的粒度;整桶删除会产生边界误差,集中清理一个大桶也有成本。使用采样或近似计数还能减小开销,代价是漏掉短暂热点、阈值附近判断不稳定,以及需要说明误差范围。

多实例统计还要按同一 key、同一时间窗口汇总。只上传各实例的本地 Top-K 不保证找出全局 Top-K:一个 key 在每个实例都排第二,合起来却可能排第一。可先上报窗口内全部计数,或扩大候选集并二次查询各实例计数;后者仍要说明候选筛选的遗漏风险。计数上报要区分增量与快照,处理重复和延迟,不能重复累加同一份数据。采样也要统一概率与口径,按采样概率放大只是估计,不能当成精确请求数;汇总带宽与计算成本同样需要预算。

7. 大 key​

大 key 是值特别大,或者集合元素特别多的 key。它会放大内存占用、网络传输、删除和集群迁移的成本。Redis 用单线程执行命令,对一个大集合做全量读取,会长时间占住执行线程,其他请求都要排队。

所以要控制单个值的大小和集合的元素数量。需要遍历时用 SCAN 家族命令分批取,并限制每次返回的规模,游标的语义见 SCAN 游标遍历。

默认配置下,DEL 在主线程里同步释放值占用的内存。集合元素越多,释放时的停顿可能越长。Redis 4.0 起可以用 UNLINK key:主线程只把 key 从键空间里摘掉,真正的内存释放交给后台线程。值很小时,Redis 也可能直接在主线程释放。后台回收仍然要消耗 CPU 和内存带宽,批量删除大 key 时要控制速度。

8. 防护链路​

无论什么原因造成缓存失效,都要限制回源总量,避免数据库随之过载。一个请求从进入到回源,可以依次经过这几层:

  1. 校验参数和权限,拦截无效 key。
  2. 按来源和业务 key 限制请求速率。
  3. 用本地缓存或 Redis 承接命中的请求。
  4. 合并同一个 key 的加载,并限制等待的请求数。
  5. 用回源并发上限、连接池和查询超时控制数据库压力。
  6. 失败时返回约定好的旧值、缺省结果或明确的错误。

每一层的等待时间加起来,不能超过接口的总超时预算。故障恢复时也一样,预热和重试都要限速。

9. 故障演练​

这些保护措施是否有效,要靠演练验证。分别模拟热点 key 过期、大批 key 同时过期和 Redis 不可用,也要覆盖数据库变慢、客户端连接池耗尽的情况。

演练时观察回源 QPS、加载等待时间和各分片的 CPU、网络,再对照数据库的连接等待和接口尾延迟。恢复阶段尤其要限制预热速度,否则重建流量会再次把数据库压满。

10. 常见问题​

10.1 热点 key 不设过期时间,就不需要重建了吗?​

不设过期时间只能避免这个 key 因 TTL 到期而消失,不能保证它一直在。内存淘汰、节点故障和人为删除仍然会让 key 消失,高频数据本身也需要更新。所以永不过期的 key 仍要设计重建保护。

10.2 布隆过滤器判断「可能存在」后,还要查询数据源吗?​

11. 面试题卡片​

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明