超时
超时(timeout)限制一次等待或调用最多持续多久,截止时间(deadline)则规定请求最晚在什么时刻结束。多级服务调用需要共用剩余预算,否则每一层重新等待一整段超时时间,总耗时就会超出调用方的预期。
结束等待也不等于工作已经停止。超时设计既要分配时间,还要让取消信号传到队列、执行任务和下游调用,减少失去用途后仍占用的资源。
1. 面试核心
先记住这几条,再读正文- 每层调用都取剩余总预算与本地阶段上限中的较小值,不能每到一层重新计时。卡 · 总预算
- 连接池等待、建连和读取属于不同阶段,一个阶段超时不能覆盖整个调用。
- gRPC 传播截止时间时,传递的是扣除已耗时间后的剩余 timeout,降低主机时钟偏差的影响。
- 取消是协作信号,需要执行方响应;已提交的事务不会因调用方超时而自动撤销。
- 串行调用逐次扣除耗时,并行调用则共享剩余截止时间。卡 · 串行与并行预算
2. 总预算
总预算是请求从进入到返回可以使用的全部时间,由入口按服务质量目标(SLO)和调用方容忍度确定。网关、排队、下游调用、序列化和返回都消耗它。
每次调用下游前,要扣除已经花掉的时间,并为收尾和返回留出余量。重试与退避也使用同一份预算。某个阶段还可以设置更短的本地上限,避免一个步骤占满全部剩余时间。
3. 超时类型
不同超时保护不同的等待阶段,配置时要确认具体边界:
- 连接池获取超时限制等待可用连接的时间。
- DNS、TCP 与 TLS 的时限约束连接建立过程。
- 写入和读取超时约束相应的网络等待。
- 数据库语句与事务时限约束数据库执行。
- 排队时限和整个调用的总时限约束更外层的等待。
例如 socket read timeout 只限制相应的读取等待。有些实现持续收到零星数据后会重新计时,于是每次读取都没超时,整个调用却拖得很久。总 deadline 用来补上这个边界。
4. deadline 传播
gRPC 会把截止时间转换成扣除已耗时间后的 timeout 传给下游。接收方按这段剩余时间在本地建立时限,减少直接比较两台主机时钟带来的偏差。
Java 与 Go 的 gRPC 支持默认传播,但应用仍需在正确的请求上下文中发起下游调用。自行用 HTTP header 传递时限时,要明确单位、可信来源和允许的最大值。
预算已经耗尽,就不应再启动新的业务工作。确实需要脱离当前请求继续执行的任务,要显式持久化,并返回任务 ID,让调用方有办法查询结果。
5. 取消传播
取消是通知执行方「这项工作不再需要继续」的信号。调用方停止等待后,服务端还要把取消传给排队任务、子 RPC 和并行任务,并由它们实际响应。
Java 的 interrupt 也是协作信号。阻塞库和循环代码需要检查并处理它;捕获 InterruptedException 后,应按取消意图结束任务,或恢复中断状态让上层继续处理,不能忽略后继续工作。
数据库驱动能否取消正在执行的操作取决于实现。已经提交的事务和已经发生的外部副作用,则仍要通过查询或补偿处理,取消信号不会把它们自动撤销。
6. 超时值
超时初值要依据依赖的延迟分布,以及可以接受多少正常请求被误判超时。设得过短,会把正常长尾当作失败;设得过长,请求就会更久地占用资源。
建连、TLS 和冷启动需要单独测量。复用连接时测得的耗时不包含这些成本,不能直接代表新连接或发布过程。上线前要用目标流量和发布场景校准。
7. 服务端上限
服务端也要设置自己的最大执行时长,并与调用方传来的截止时间取更早者。这样,即使调用方允许等待很久,服务端也不会无限占用资源;调用方剩余时间更短时,则按更短时间执行。
阶段上限继续叠加在这个总时限之内。服务端上限保护自身容量,调用方预算则表达这次请求还愿意等待多久。
8. 取消与故障指标
指标要区分预算耗尽(deadline exceeded)、主动取消和依赖失败。记录请求进入时的剩余预算、排队时间和各阶段耗时,才能判断是预算太紧,还是某段执行突然变慢。
超时后仍继续运行的任务要单独计数。下游看到的客户端取消,也可能只是上游正常超时退出,并不必然说明下游自身故障。取消数量突增后,再结合链路延迟和预算配置判断原因。
9. 串行与并行预算
串行调用依次使用剩余时间,并行调用则共享当前的截止时间。假设总预算为 800 ms,已经花掉 100 ms,还要预留 50 ms 返回,可用于下游的时间就是 650 ms。
串行调用 A、B 时,若 A 的本地上限为 300 ms、实际用了 200 ms,那么 B 最多剩 450 ms,还要与 B 自己的本地上限取较小值。
并行启动 A、B 时,两者共享这 650 ms 的截止边界,也各自遵守本地上限。并行执行的总等待取决于关键路径,不是把两者耗时直接相加。请求结束时,取消尚未完成的子任务。
每次重试都要重新检查剩余时间,并完成相应的资源清理。实际配置还要预留调度和网络开销,不能只按理想算术值分配到最后一毫秒。
10. 常见问题
10.2 Future.get 超时后,任务会自动停止吗?
不会。Future.get(timeout) 超时只结束当前线程的等待,任务可以继续运行。要停止它,需要另外请求取消;cancel(true) 会尝试中断执行线程,但任务仍要响应中断,才会真正结束。
11. 面试题卡片
12. 参考资料
- gRPC:Deadlines
- gRPC:Cancellation
- Amazon Builders' Library:Timeouts, retries, and backoff with jitter
- Oracle Java 21:Future
- Oracle Java 21:Thread.interrupt
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明