跳到主要内容
约 12 分钟5 张卡

限流

限流是通过速率或并发上限,控制进入系统的工作量,避免请求超过资源承受能力。选算法之前,先确定要限制的是每秒请求数、同时处理的请求数,还是某个租户的配额。

这些限制不能互相替代。同样是 1000 QPS,请求耗时从 20 ms 变成 2 s 后,系统中积压的工作会大幅增加,即使速率没有超过阈值,线程池和连接池也可能耗尽。

1. 面试核心​

先记住这几条,再读正文
  • 固定窗口实现简单,但跨相邻窗口边界时会允许接近两倍阈值的短突发。

  • 滑动日志保存请求时间,能精确统计最近窗口;滑动计数器用较少状态换取近似结果。

  • 排队式漏桶平滑输出,令牌桶则在长期速率受控的前提下允许桶容量内的突发。

    卡 · 固定窗口
  • 稳定系统中,平均在途数等于吞吐率乘平均逗留时间,所以只限制 QPS 不能保证并发占用不变。

    卡 · 并发限制
  • 多网关按需领取同一份全局预算,可以避免静态均分造成的闲置;能否充分利用还受网关资源和协调服务影响。

    卡 · 综合题
  • 分布式配额要原子检查并扣减,每个实例还要有独立于中心服务的本地资源上限。

    卡 · 原子扣减与失效
  • Redis 令牌桶保存 tokens 与 last_refill,原子完成按时间补充、容量封顶和扣减;时钟与过期策略也会影响额度。

    卡 · Redis 共享令牌桶

2. 固定窗口​

固定窗口将时间划成固定区间,例如每秒或每分钟,在区间内累计请求数,达到上限就拒绝。它实现简单,但窗口交界处仍可能集中放行大量请求。

例如每秒允许 100 次,前一秒末尾通过 100 次,后一秒开头又通过 100 次。两个固定窗口各自都没超额,跨越边界的很短一段时间内,却接近 200 次。

因此,固定窗口适合粗粒度配额。需要更平滑地保护资源时,要选用其他算法,或叠加并发上限。

3. 滑动窗口​

滑动窗口随当前时间向前移动,统计最近一段时间内的请求。实现时可以选择保存完整记录,也可以保存分段计数:

  • 滑动日志保存最近窗口内各次请求的时间,计数精确,但请求越多,需要保存的状态越多。
  • 滑动计数器把时间分成小格,每格保存计数,用更少状态近似窗口内的请求量。

滑动计数器可以累计整格,也可以对边界格加权。加权依赖格内流量分布的假设,因此仍有误差。格子更细可以降低时间粒度误差,但也会增加状态成本。

4. 漏桶​

排队式漏桶让请求先进入有界队列,再按固定速率取出处理,队列满时拒绝。它把输入的突发转成较平滑的输出,代价是请求需要等待。

因此,队列既要限制长度,也要限制最长等待时间,否则请求虽然最终得到处理,却可能早已超过调用方的时限。漏桶还有计量判定式实现,未必真的排队;本文讨论的是排队整形这一种。

5. 令牌桶​

令牌桶按速率 r 补充令牌,最多积累 B 个。请求取得并消耗足够令牌后立即通过,没有令牌时等待或拒绝。

初始桶满时,时间 t 内最多放行约 B + r × t 个单位:B 是积累下来的突发额度,r 控制长期补充速度。这解释了为什么令牌桶允许短时集中到达的请求,而不必像排队式漏桶那样逐个匀速放行。

额度单位也可以按成本设计。昂贵请求消耗多个令牌,使扣减量与 CPU、查询量等需要保护的资源更接近。

6. 并发限制​

并发限制直接约束同一时刻正在处理或排队的工作量。速率相同的情况下,请求停留得越久,同时留在系统中的请求就越多。

在稳定系统中,Little's Law 用 L = λ × W 表达这个关系:L 是平均在途数,λ 是平均吞吐率,W 是平均逗留时间。

例如吞吐保持在 1000 次/秒,平均耗时 20 ms 时,L 为 20;平均耗时变成 2 s 后,L 就是 2000。速率限制没有变化,系统需要承受的在途请求却增加了。

计算必须使用同一系统边界下的平均值,不能把 P99 直接代入。得到估算值后,还要结合突发、资源上限和压测结果确定实际额度。

7. 限流键​

限流键决定哪些请求共用一份配额,可以按可信主体、租户或 API 划分。身份来源要可靠:共享 IP 可能让同一网络中的用户相互影响,直接信任可伪造的 header 则可能让调用方绕过限制。

入口全局上限与租户配额可以一起使用,高成本接口再单独计量。每个实例也需要本地并发和队列上限,避免整体配额尚有余量时,某个实例已经被占满。

限流键自身也消耗存储,因此要限制状态数量和保留时间,不能让大量低频键无限积累。

8. 分布式限流​

多个实例共享配额时,集中计数容易统一总量,但每次判断都增加一次远程依赖。把额度分配到节点本地可以降低延迟,代价是需要协调额度的发放和回收。

严格预分配只发放尚未占用的额度,安全回收并避免重复发放,可以保持总上限。先在本地放行、再异步统计纠偏的方案,则允许短时间超额。选择时要明确业务能否接受这种误差。

中心服务故障时,可以按接口风险拒绝请求,或退回保守的本地额度。无论哪种策略,本地并发上限都应独立生效,保护实例自身资源。

8.1 多网关共享预算​

共享预算是让所有网关从同一份额度中领取许可,而不是让每个网关各自拥有完整配额。假设上游有 1000 QPS,经过 10 个负载不断变化的网关,下游希望按 500 QPS 控制流量。

先澄清 500 QPS 是长期处理速率,还是任意连续一秒最多 500 次。若允许经过验证的短突发,可以共享一个补充速率 r = 500 的令牌桶;若要求任意连续一秒都不超过 500,应使用精确滑动窗口等符合该语义的约束,需要平滑输出时再考虑有界排队整形。不能仅设置 r = 500 就忽略桶容量。

静态均分的办法是给每个网关 50 QPS。假设全部请求暂时都到达网关 A,其余九个网关空闲,那么 A 只能使用 50,其他 450 的额度闲置。共享方案则让 A 按实际请求领取全局许可,不必等待流量重新均匀分布;在请求持续到达、协调服务正常且 A 自身有余力的前提下,可以利用接近 500 的长期处理速率。

以共享令牌桶为例,所有网关使用同一个限流 key,每个请求在转发前完成一次原子补充与扣减。没有令牌就拒绝,或进入受长度和时间限制的队列。某网关空闲时,它不会预占本可供其他网关使用的令牌。

桶容量 B 要依据下游可承受的突发确定。例如 r = 500、B = 100 时,一个已有 100 令牌的桶可以立即放行 100 次,在长度为一秒的区间内理论上最多允许约 600 次。这组数值只是教学示例,并不证明某个下游能承受它。还要限制并发和排队,避免慢请求把资源占满。

每请求访问 Redis 会增加远程延迟,也形成依赖。若要减少访问,可以按需领取小批额度,但领取时就必须从全局可用余额中扣除,并把节点尚未使用的额度计入总量与突发预算。节点空闲或失联后,不能因为“看起来没有消费”就再次发给别人;只有确认旧节点再也不能消费旧额度,才能安全回收,例如有效期已结束且所有执行端都能可靠拒绝过期额度。时间误差和在途请求也要纳入这个判断,无法确认时宁可让该批额度作废。批量领取还须限制保存和集中使用额度的时间,不能让节点长期囤积后一起释放,突破预期突发。

协调服务故障时,如果必须守住下游总上限,可以停止发放新许可,让请求失败或受限等待。无协调地让十个节点分别放开额度会改变安全边界。即使总预算仍有余量,本地并发、连接池或队列已经满的网关也应拒绝请求,因此不能承诺任何故障和负载分布下都达到满利用。

9. 限流响应​

拒绝响应需要告诉调用方发生了什么,以及是否适合稍后重试。调用方超额可以返回 429,并附 Retry-After;整体服务临时过载也可以用 503 表达,具体语义由接口契约说明。

选择排队时,还要检查剩余时间。如果预计等待已经超过请求预算,就直接拒绝,不能为了削峰而无限延长队列。

10. 原子扣减与失效​

检查额度和扣减额度必须作为一个原子操作执行。假设只剩一个名额,两个请求分别先读取再写回,它们可能都读到 1,并同时通过。

Redis Lua 可以把检查、计数和过期设置放在同一次执行中,避免这种并发竞态。脚本应保持短小,否则会长时间阻塞 Redis。

固定窗口的 TTL 应覆盖到窗口结束。如果每次请求都把 TTL 续成一个完整窗口,边界就会被不断推迟。原子执行也不保证故障转移后状态仍然完整,状态丢失的影响要另行评估。

10.1 Redis 共享令牌桶​

Redis 共享令牌桶把一个限流对象的状态集中保存在 Redis,让多个实例共同更新。以 Redis 6、7 的 Hash 为例,一个 key 对应一个桶,至少保存两个字段:

字段含义
tokens上次计算后剩余的令牌量,范围为 0 到 B
last_refill上次计算补充量所使用的时间

以下约定 r > 0、每次请求消耗一个令牌、B ≥ 1,时间统一使用秒;首次创建时桶满。这些是用于解释机制的选择,真实接口也可以采用不同的初始额度和成本单位。

一次请求的逻辑是:

  1. 取得可信的当前时间 now,读取 tokens 和 last_refill。不存在的桶按约定初始化为 B,时间设为 now。
  2. 令 effective_now = max(now, last_refill),计算 elapsed = effective_now - last_refill。
  3. 按 available = min(B, tokens + r × elapsed) 补充并封顶。
  4. 若 available ≥ 1,扣减一个令牌并放行;否则不扣减并拒绝。
  5. 保存剩余量和 last_refill = effective_now,同时设置合适的空闲过期时间。

读取、补充、判断、扣减和写回必须在一次原子操作中完成,例如由一个短小的 Redis Lua 脚本执行。仅把“读 Hash”和“写 Hash”分成两个请求,仍可能让两个网关消费同一个令牌。限流许可只控制是否转发,不会自动完成业务处理。

例如 r = 500、B = 100,上次剩余 2 个令牌,经过 4 毫秒补充 2 个,本次请求可用 4 个,扣减后剩 3 个。如果某一时刻只剩 1 个令牌,两个请求在同一时间值下依次执行原子操作,第一个通过,第二个看到 0 而被拒绝。

补充量可能有小数,不能每次都向下取整后又推进 last_refill,否则频繁访问会不断丢掉零碎补充量。实现可以保留足够精度,或使用定义好精度和范围的定点单位;时间、速率和令牌量必须使用一致单位,并检查数值范围。

多个网关不应各自把本机时间直接当成可信依据,可以从 Redis TIME 取得统一服务端时间。但它是墙上时钟,不是单调时钟。上面的 max 能在时间回拨时暂缓补充,并且不把 last_refill 写回过去;时间大幅前跳仍可能提前补满桶。严格的速率保证必须有相应时钟假设和异常处理,不能把服务端时间等同于永不跳变。

TTL 用来清理空闲状态,不是令牌桶的统计窗口。在时间稳定的前提下,空桶最多经过 B / r 秒就会自然补满,因此可以选取不少于该时长、并为精度和时钟误差留余量的空闲 TTL。每次判断后,包括拒绝请求后,都更新状态并续期。空闲足够久再把不存在的桶按满桶初始化,才与自然补充一致;回拨期间若 last_refill 领先当前时间,保留期限还需覆盖这段差额。

例如上面的空桶需要 0.2 秒补满;若只设 0.05 秒 TTL,过期后立即恢复满桶就会提前发放额度。Redis 过期本身也受墙上时钟影响,故障转移、淘汰或误删状态也可能让桶提前重新初始化。这些情况要按容量要求选择保守拒绝或恢复策略,Lua 的原子执行不能单独解决状态丢失。

11. 常见问题​

11.1 什么时候选令牌桶,什么时候选漏桶?​

需要平滑输出、且请求可以等待时,考虑排队式漏桶。后端能承受一定突发、请求不适合排队时,令牌桶更合适,它同时约束突发额度和长期速率。

11.2 QPS 没超限,为什么线程池仍然饱和?​

12. 面试题卡片​

13. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明