RPC
RPC(Remote Procedure Call,远程过程调用)把发往另一个进程的请求封装成方法调用接口。调用方看起来在调用一个方法,底层却要完成参数编码、网络传输、远端执行和结果返回,其中任何一步都可能失败或超时。
理解 RPC,需要能把一次调用还原成这条链路:响应怎样找到原来的请求,字节流怎样拆成消息,耗时业务为什么不能阻塞网络线程。下面以 Netty 4.2 的 NIO 执行模型说明这些问题。
1. 面试核心
先记住这几条,再读正文- RPC 是调用方式,HTTP 是通信协议,REST 是架构风格;它们不处于同一个比较层次。卡 · RPC、HTTP 与 REST
- 多个请求共用连接时,响应可能乱序返回,客户端靠请求 ID 找到对应的
Future或回调。 - 排查请求未到达时,要沿选址、编码、排队、网络、解码和业务分发逐段找证据;没有业务日志不等于没收到字节。卡 · 综合题
- Protobuf 靠字段编号识别字段,删除字段后应使用
reserved保留编号,避免旧数据被解释成新含义。卡 · 序列化协议 - Protobuf 的字段标签包含字段编号和线型;整数可用 varint,字符串等用长度加内容表示,消息仍需外层边界。卡 · Protobuf 怎样表示字段和值?
- TCP 不保留应用消息边界,需要协议自己定义。
LengthFieldBasedFrameDecoder可以按长度字段拆出完整消息帧。卡 · 半包与粘包 - NIO 中一个
EventLoop可以管理多个Channel,阻塞其中一个处理器会拖延同一线程上的其他连接,耗时业务应交给有界线程池。 ByteBuf交给异步任务前,需要明确谁持有、谁释放引用。需要延长生命周期时调用retain(),使用结束后配对release()。卡 · ByteBuf 引用计数
2. RPC 调用链
RPC 要把本地调用转换成远程消息,再把响应交回原来的调用方。一次调用可以分为六步:
- 客户端代理根据服务名选择实例。
- 把方法、参数、请求 ID 和元数据编码成字节。
- 取得连接,发送消息。
- 服务端解码、鉴权,再交给对应的业务方法。
- 服务端把执行结果编码成响应并发回。
- 客户端根据请求 ID 找到原来的调用,交付结果。
请求 ID 是一次调用的标识,用来把响应与等待结果的 Future 或回调对应起来。比如同一条连接发出请求 A、B,B 先执行完、先返回,客户端也能按 ID 把结果交给 B,而不会误交给先发送的 A。
调用超时或取消时,要删除对应的等待记录,避免它一直占着内存。之后收到迟到的响应,应按已结束的调用处理,不能再次交付结果。统计耗时时同样要覆盖整条链路,只看服务端业务方法,会漏掉连接池、队列和网络中的等待。
2.1 RPC、HTTP 与 REST
RPC 是远程调用的组织方式,HTTP 是应用层通信协议,两者可以组合。比如 gRPC 使用 HTTP/2 承载调用,不能把“RPC 和 HTTP”理解成只能二选一的传输协议;具体分层见 gRPC。
REST(Representational State Transfer,表述性状态转移)是一种架构风格,围绕资源、资源的表示和统一接口组织交互。以查询订单为例,方法式接口可以是 OrderService.GetOrder(id),面向资源的 HTTP 接口可以是 GET /orders/42,返回编号为 42 的订单表示。前者重点约定服务方法与参数,后者使用资源标识和 HTTP 方法的共同语义。
不过,把 URL 写成名词、用 JSON 返回数据,还不足以说明符合 REST。REST 还要求无状态交互、可缓存性、分层,以及统一接口中的自描述消息和超媒体控制等约束:响应中的链接或操作说明应帮助客户端发现接下来可做的动作。这里的无状态指每个请求带齐理解请求所需的信息,不是服务端不能存订单等业务数据。
HTTP 接口也可以承载方法调用,例如 POST /rpc 加上方法名与参数;JSON 只是表示格式。比较方案时应说明实际比较的是哪两种接口设计、协议与编码组合,再讨论契约、客户端支持、缓存和调试成本。不能只凭“用了 HTTP”判断接口是 REST,也不能只凭“用了二进制”断言 RPC 一定更快。
2.2 对方没有收到请求时怎样排查?
先确认“没有收到”指哪个阶段:业务方法没有日志,可能是请求没到,也可能是字节到了但拆帧、解码、鉴权或队列处理失败。用同一个请求 ID 关联两端记录,并为每次重试记录独立的尝试标识,才能判断一次调用在哪一段停止。
| 阶段 | 需要核对的证据 |
|---|---|
| 选址与编码 | 实际选中的实例地址和方法名,服务发现结果,序列化是否成功;不要只看配置中的服务名 |
| 客户端排队与连接 | 连接池等待、待发送队列、剩余 deadline,DNS、建连或 TLS 握手错误 |
| 写出与网络 | 异步写操作的完成结果、发送字节与连接错误,必要时核对两端网络记录以及负载均衡转发目标 |
| 对端接收与分发 | 是否收到字节、能否组成完整帧、协议版本与解码错误、鉴权结果、业务队列是否拒绝或仍在等待 |
| 业务执行与返回 | 是否已经提交业务、响应是否成功写出,客户端是否仍有对应的等待记录 |
客户端调用了 write,不代表字节已经离开待发送队列;写操作完成,也不等于远端业务已经执行。TCP 确认只能说明对应字节被对端 TCP 接收,不证明业务处理成功。反过来,没有业务日志也不能直接断定网络丢包,还要检查日志采样、记录位置和实例是否选对。
排查应优先用阶段耗时、错误和队列指标缩小范围,再补抓包等证据。对结果未知的写操作,先用业务键查询结果,不能为了验证连通性就无条件重发,重试边界见RPC 重试与业务副作用。
3. 序列化协议
序列化是把对象转换成协议约定的字节,接收方再通过反序列化还原数据。双方除了约定字段类型和缺省值,还要限制消息大小、嵌套深度和集合长度,避免异常输入消耗过多资源。
Protobuf 在二进制消息里用字段编号识别字段,字段改名并不会改变这个编号的含义。删除字段后,应通过 reserved 保留退役编号。例如,原来的编号 2 表示用户编号,后来把它改用作订单编号,旧消息中的用户编号就可能被当成订单编号读取。即使两者的底层编码类型(wire type)相同,业务含义也已经不兼容。
下例使用 Protobuf 3.15+,其 proto3 optional 已默认启用:
syntax = "proto3";
message Query {
reserved 2;
string request_id = 1;
optional int32 limit = 3;
}
reserved 2 阻止后续字段再次使用编号 2。limit 声明为 optional,接收方就能区分「没有提供 limit」和「明确提供了 0」;两者可以对应不同的业务处理。
proto3 还可以保留收到的未知字段,并在重新序列化时继续输出,因此旧程序可以转发自己不认识的新字段。但转成 JSON 或只逐个复制已知字段时,这些信息会丢失。修改协议后,需要验证旧客户端与新服务端能否一起工作,不能只检查新版本之间能否通信。
3.1 Protobuf 怎样表示字段和值?
Protobuf 消息由字段记录组成,每条记录先写字段标签(tag),再按编码类型写值。标签把字段编号和线型(wire type,即后面的值怎样编码)合在一起:tag = (字段编号 << 3) | wire_type。标签本身也使用变长整数编码;线型只决定怎样读取字节,不包含完整业务类型,因此解码还需要 .proto 中的字段定义。
varint 是一种变长整数编码,每个字节的低七位保存数值的一部分,最高位表示是否还有后续字节,低位分组先写。正整数 150 可以拆成 22 + 1 × 128,所以编码为十六进制 96 01:96 的低七位为 22,最高位为 1;01 表示最后一组的值为 1。小正整数可以少占字节,但这不保证所有整数都更短,例如负数 int32 会占十个字节,sint32 则先把有符号整数映射为非负整数(ZigZag),再编码。
沿用前面的 Query,当 request_id = "A"、limit = 150 时,一种合法编码是:
0A 01 41 18 96 01
| 字节 | 含义 |
|---|---|
0A | 字段 1 的标签:(1 << 3) | 2 = 10,线型 2 表示长度定界 |
01 41 | 长度为一个字节,随后是字符串 A 的 UTF-8 字节 41 |
18 | 字段 3 的标签:(3 << 3) | 0 = 24,线型 0 表示 varint |
96 01 | limit 的值 150 |
长度定界是先写 varint 长度,再写对应数量的内容字节。字符串长度按 UTF-8 字节数计算,不是字符数;字符串、bytes、嵌套消息等都可使用这个线型,具体类型由字段定义决定。解析器遇到不认识的字段时,可以根据线型跳过它,但仍需拒绝截断或非法长度。
这里两个不同字段的先后顺序不影响解码结果,不能要求所有实现都生成上面唯一一种字节顺序;同一字段重复出现时则有另外的顺序规则。更要区分字段长度和整个消息的边界:一个字符串字段自带长度,不代表连续发送的两条 Protobuf 消息已经有独立的外层边界。RPC 仍需自己的帧格式,见半包与粘包。
4. 半包与粘包
TCP 传的是字节流,不知道应用把哪些字节看作一条消息。一次读取只得到消息的一部分,叫半包;一次读取包含多条消息,叫粘包。这都是正常的流式读取结果,不是 TCP 把数据传错了。
应用协议必须告诉接收方在哪里切开消息,常见方式如下:
| 方案 | 处理条件 |
|---|---|
| 固定长度 | 每条消息占固定字节数,累计够这些字节后再处理。 |
| 分隔符 | 遇到约定的分隔符结束一条消息,需要处理转义并限制长度。 |
| 长度字段 | 先读取头部给出的长度,再累计对应数量的消息体字节。 |
Netty 的 LengthFieldBasedFrameDecoder 按长度字段拆帧。配置时要说明长度字段从哪里开始、占几个字节,以及字段值是否包含头部等长度调整规则。maxFrameLength 则限制整帧的最大长度,避免接收方按异常长度不断分配内存或等待数据。
5. EventLoop
事件循环负责反复处理 I/O 事件和任务。在 Netty 的 NIO 模型中,EventLoop 使用一个线程,可以服务多个 Channel;Channel 是 Netty 对网络通道的抽象,可以代表监听 socket,也可以代表已建立的连接。
服务端通常把两类工作分给不同的组:接收组处理监听 Channel,工作组处理已建立的连接。每个 Channel 注册到一个 EventLoop,由它按序处理该通道的 I/O 事件。
这也意味着,在 EventLoop 线程中执行的处理器不能长时间阻塞。例如,一个连接的处理器等待数据库返回时,同一线程上的其他连接也无法及时处理 I/O。慢数据库调用应交给有界业务线程池,EventLoop 继续处理网络事件。
业务转到其他线程后,完成顺序可能变化。需要按请求顺序处理的业务,要自行协调顺序和共享状态;Channel 的有序 I/O 不会自动让所有业务任务串行执行。
6. ChannelPipeline
ChannelPipeline 是一个 Channel 上的处理器链,每个处理器(handler)负责一项工作,例如 TLS、拆帧、解码、鉴权或业务分派。入站事件按添加顺序经过入站处理器,出站操作则沿相反方向经过出站处理器。
写数据的入口会影响经过哪些处理器。channel.write(...) 从管线尾端开始向前传播,ctx.write(...) 则从当前处理器所在的上下文向前寻找出站处理器。如果编码器位于当前处理器之后,调用 ctx.write(...) 就会跳过它。因此,安排处理器顺序时,还要一起考虑从哪里发起写操作。
同一个 handler 实例要在多个通道中共享,必须自身满足线程安全要求。@Sharable 表示该实例可以安全复用,注解本身不会给共享状态加锁。
7. ByteBuf 引用计数
ByteBuf 是 Netty 的字节缓冲区,用引用计数管理底层内存的生命周期。retain() 增加计数,release() 减少计数,计数降到 0 后,底层资源就可以释放或归还池中。把消息继续交给下一个处理器时,也要明确把释放责任交给谁。
SimpleChannelInboundHandler 默认在处理结束后自动释放收到的消息。如果把同一个 ByteBuf 交给异步任务,处理器可能先返回,缓冲区随之被释放,而异步任务还没开始读取。因此,要在原引用释放前调用 retain(),为异步任务保留一份引用;任务结束后在 finally 中调用 release()。任务提交失败时,也必须释放刚才增加的引用。
slice() 和 duplicate() 产生的视图共享底层数据,并不会增加引用计数。需要让视图跨过异步调用继续存活时,可以用 retainedSlice() 或 retainedDuplicate()。这些方法只延长生命周期,没有复制数据,所以也不能隔离不同线程对内容的修改。
8. deadline 传递
deadline 是一次调用最晚应结束的时间。RPC 把剩余预算传给下游,各层才不会重新开始计时。例如,上游只剩 200ms,下游就不能再按完整的 1 秒预算执行。
gRPC 会把 deadline 转换为剩余超时再传递。截止时间到了以后,服务端处理器还要响应取消,停止已经没有必要继续执行的任务。
取消等待不会撤销已经提交的外部业务。例如订单已创建,只是响应没有及时到达,客户端取消后订单仍然存在。结果不明的写操作需要幂等键和结果查询,重试约束见 HTTP。
9. 背压
背压是下游处理不过来时,让上游放慢生产和发送。RPC 服务需要限制在途请求、业务队列和待发送字节,否则请求只会越积越多,最终耗尽内存或全部超时。
Netty 用写缓冲水位反馈发送压力:待发送数据超过高水位后,isWritable() 返回 false;降到低水位以下时,重新返回 true。这只是信号,不会禁止应用继续 write。处理器需要监听可写状态变化,主动暂停生产,再在恢复可写后继续。
如果压力来自接收和业务处理,可以临时关闭 autoRead,暂停自动读取,待容量恢复后再开启。背压只能延缓上游发送,长期容量不足仍需要限流或拒绝请求,无限扩大队列只会增加内存占用和等待时间。
10. 常见问题
10.1 为什么大量连接不需要同样多的线程?
因为连接在等待数据时,不需要各占一个线程。EventLoop 根据就绪事件处理当前能读写的连接,同一个线程可以轮流服务多个通道。这个模型要求 I/O 处理器短小;耗时业务要使用独立的执行资源,否则会阻塞同一线程负责的其他连接。
10.2 RPC 超时后直接重试,会不会重复执行业务?
会有这种可能。服务端已经提交业务、但响应丢失时,客户端也会看到超时。重试会再次发送同一请求,因此写操作需要稳定的幂等键,并持久化处理结果,让服务端能够识别重复请求、返回之前的结果。
11. 面试题卡片
12. 参考资料
- Netty 4.x User Guide
- Netty:LengthFieldBasedFrameDecoder
- Netty:Reference-counted objects
- gRPC:Core concepts
- gRPC:Deadlines
- Protobuf:Proto3 Language Guide
- Netty 4.2:ChannelPipeline
- Netty 4.2:WriteBufferWaterMark
- Netty 4.2:EventLoop
- Netty 4.2:SimpleChannelInboundHandler
- Protobuf:Field Presence
- Fielding:REST 架构风格与统一接口
- Protobuf:Encoding
- Netty 4.2:ChannelFuture
- RFC 9293:TCP 序号与确认
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明