重试
重试是在一次调用失败后再次尝试,用来恢复短暂故障。它也会增加下游工作量:如果失败来自持续过载,新增请求就可能让服务更难恢复。
设计重试需要同时回答三个问题:这次失败是否值得再试,重复执行是否安全,以及还允许投入多少时间和容量。
1. 面试核心
先记住这几条,再读正文- Full jitter 在当前退避上限内随机选择等待时间,减少客户端同时再次请求。
- 多层各自重试会让尝试数相乘,四层各尝试 3 次时,最深下游最多被调用
3⁴=81次。卡 · 可重试错误 - 单请求次数限制还不够,系统级重试预算要约束整体增加的负载。
- Hedging 在原请求尚未结束时发送备份请求,可能缩短等待,也会额外占用下游容量。
Retry-After支持秒数和 HTTP 日期,但建议等待时间仍需服从请求的总预算。卡 · Retry-After 与剩余预算
2. 可重试错误
值得重试的失败,应有可能在下一次调用时恢复。短暂连接错误和部分服务端错误可以作为候选,参数错误、权限不足和确定性的代码错误则应直接失败,因为重复发送不会改变原因。
还要判断第一次调用有没有产生结果。超时只说明调用方没等到响应,不能证明操作没完成。即使业务允许重试,持续过载时也要减少追加请求,避免进一步延迟恢复。
3. 写操作重试
写请求重试前,要明确重复执行会不会产生额外副作用。第一次创建或支付可能已经成功,只是响应丢失;如果第二次当作新操作处理,就可能重复创建或扣款。稳定标识和结果恢复的设计见幂等键。
HTTP 方法声明为幂等,服务端也必须实现对应语义。POST 同样可以通过业务幂等契约支持安全重发,不能只根据方法名称决定能否重试。
4. 指数退避
指数退避是连续失败后逐步增加等待时间,减少对下游的请求频率。等待上限按指数增长,但不超过 cap:
a = 0 表示第一次重试
backoff = min(cap, base × 2^a)
例如 base 为 100 ms、cap 为 1 s,前三次重试的上限分别是 100、200、400 ms。后续即使继续失败,上限也不会无限增长。等待本身消耗请求预算,不能把退避时间排除在总耗时之外。
5. 抖动
抖动(jitter)是在重试等待中加入随机性,避免一批同时失败的客户端又同时醒来。Full jitter 从 [0, backoff] 中随机选择本次等待时间。
如果所有客户端都严格等待 100、200、400 ms,它们可能始终成批到达。随机化可以分散这些请求,但仍要避免使用相同随机序列或固定整秒调度。抖动只改变发送时间,额外请求的总量还需要次数限制和预算控制。
6. 尝试次数
总尝试数包含首次调用。例如「总尝试 3 次」表示首次调用加两次重试,配置和指标必须明确这个口径。
多层各自重试时,额外调用会沿调用链相乘。四层都尝试 3 次,最深下游最多收到 3⁴=81 次调用。提前成功或总时限耗尽会减少实际次数,但在持续失败时,仍可能接近这个上界。
因此,选择一层承担主要业务重试,其他层只保留语义明确的局部恢复,才能看清整条链路的实际放大倍数。
7. 重试预算
重试预算是为系统整体的额外尝试设置额度,例如限制重试比例或同时执行的重试数。单请求最多重试两次,仍然可能让全部失败请求一起产生大量额外流量,所以需要这一层总量约束。
一种实现是成功请求补充重试令牌,重试消耗令牌。错误持续发生时,额度逐步耗尽,后续请求快速失败。预算可以按下游或路由划分,避免一个依赖故障耗尽所有重试额度。
8. Hedged request
Hedging 是原请求变慢后,在它尚未结束时并行发送备份请求。它适合有独立副本和额外容量的幂等读取,希望借助另一个副本更早取得成功结果。
收到首个可接受的成功结果后,取消其余尝试,但取消仍需下游配合。整体已经过载时,新增备份会继续占用资源,因此要限制 hedging 比例和并发,并观测真实调用放大倍数。
9. 故障注入验证
验证重试策略时,要分别统计原始请求数和实际尝试数(attempt),再看成功率与 P99。可以注入连接 reset、延迟、限流和局部实例故障,观察额外请求是否换来了有效恢复。
还要验证全部实例过载时,预算是否及时停止追加请求。如果关闭重试后系统反而恢复,就需要检查哪些层在放大流量。取消后仍在执行的请求数也应纳入验收,否则客户端结束等待,负载却可能继续留在下游。
10. Retry-After 与剩余预算
Retry-After 表示服务端建议再次尝试前等待多久。Retry-After: 2 表示等待 2 秒,HTTP 日期形式则给出可以再次尝试的时间点。
客户端要把这个建议与本地退避一起考虑。一种策略是至少等待两者中的较大值,再加入有限抖动;日期形式还要处理时钟偏差和解析失败。
如果请求预算只剩 500 ms,而服务端建议等待 2 秒,就应结束本次自动重试。为了赶截止时间而提前发送,既无法遵守服务端建议,也可能打断它的恢复过程。
11. 常见问题
11.1 所有 5xx 都应该重试吗?
不应该。5xx 只是服务端错误类别,背后可能是确定性缺陷、持续过载或短暂故障。只有结合错误原因、接口语义和剩余预算,才能判断下一次尝试是否有价值。
11.2 重试时换个实例,就能避免重复副作用吗?
不能。换实例可以绕过局部故障,但原实例可能已经提交,只是响应丢失。新实例仍然需要识别同一次业务操作,安全性取决于幂等契约,而不是是否换了机器。
12. 面试题卡片
13. 参考资料
- Amazon Builders' Library:Timeouts, retries, and backoff with jitter
- AWS SDKs:Retry behavior
- Envoy:Circuit breaking
- RFC 9110:Retry-After
- AWS Architecture Blog:Exponential Backoff and Jitter
- gRPC:Request Hedging
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明