可观测性
可观测性是通过系统输出的信号理解内部行为的能力。指标反映总体变化,日志记录具体事件,调用追踪(Trace)把一次请求经过的操作连起来。排查故障时,需要用它们回答「影响有多大」「请求慢在哪里」和「当时发生了什么」。
三种信号要能关联,也要知道各自的限制:指标经过聚合,Trace 可能被采样,日志也未必记录了每个步骤。
1. 面试核心
先记住这几条,再读正文- 指标保存聚合趋势,日志记录事件详情,Trace 展示调用路径,三者提供不同层面的证据。卡 · 指标
- 指标标签的取值组合越多,时间序列数量与存储成本越高,用户 ID 等不受控的值不适合直接作为标签。
- Trace ID 关联一次技术调用,业务 ID 则用于连接跨请求的业务流程。
- 尾部采样只能选择已经收到的数据,无法恢复前面已经丢弃的 span。卡 · 尾部采样的完整性
- 追踪要完成入口提取上下文、创建 span、跨边界注入与提取、结束并导出的链路,日志里带一个 ID 并不等于已经实现追踪。卡 · 请求的 span 生命周期
- Histogram 保存的分布可以合并,但多个实例的 P99 不能直接取平均得到整体 P99。卡 · 分位数聚合
2. 指标
指标是按时间记录的数值,适合观察请求量、错误率和资源占用的变化。Counter 记录累计量,gauge 记录当前值,histogram 用桶记录观测值的分布,可以据此估算延迟分位数。
告警优先关注成功率和延迟等服务质量指标(SLI),因为它们直接反映用户受到的影响。CPU、队列和连接池指标则帮助解释资源是否饱和。
标签让指标可以按路由、区域和版本拆分,但每一种取值组合都会增加时间序列。route、region 和 version 可以控制取值范围,用户 ID 和订单号却会不断增加,更适合放进有访问权限控制的日志或 Trace。这就是标签基数需要受控的原因。
2.1 Prometheus exporter 的采集链路
Exporter 把目标系统的状态转换为 Prometheus 能抓取的指标。例如目标只提供一个状态查询接口,exporter 就负责访问它、转换单位和类型,并提供通常位于 /metrics 的 HTTP 端点。典型拉取过程是:
- Prometheus 根据配置或服务发现确定抓取地址,向指标端点发起请求。
- Exporter 的 collector 查询目标状态,在超时与并发上限内完成采集。
- Collector 将本次结果转换为具有稳定名称、标签、单位和类型的样本。
- HTTP 端点返回符合约定格式的指标,Prometheus 解析并保存样本。
例如目标返回“自启动以来完成了 120 次任务”,应导出累计 Counter 值 120,不能每次抓取都给 exporter 自己的计数器再加 120。目标当前排队 7 个任务则是 gauge。对于本次已消失的目标标签,也不能一直输出旧值,假装该对象仍存在。
失败必须可辨认。目标不可访问时,可以让本次抓取返回失败;也可以在仍有部分有效指标时,返回专门的目标采集成功标记,例如 myexporter_up=0。后一种情况下,Prometheus 自己的 up=1 只说明成功抓取了 exporter,不代表被观测的业务健康。不要用 0 或上次成功值冒充本次成功采集的业务值。
优化先测采集耗时和对目标的负担,再限制昂贵查询、标签数量及并发。一般按 Prometheus 的抓取时机同步采集;特别昂贵的数据可以有明确缓存策略,但必须说明新鲜度与失效条件。降低采集成本与缩短发现异常的时间可能冲突,不能只报告 exporter 的 CPU 降低。项目中的具体优化比例,应由同一负载下的前后记录证明。
3. 结构化日志
结构化日志用稳定字段记录事件,例如时间、服务、版本、错误类型、Trace ID 和必要的业务键。字段一致,才能可靠地检索同一次请求或比较不同版本。
完整异常栈在负责处理失败的边界记录即可。中间层逐层重复打印,会让同一次失败产生多份日志,还可能把错误计数放大。
日志中要过滤 token、密码和敏感请求内容。预期业务拒绝使用相应事件级别,临时调试日志则限制范围和持续时间,避免把所有运行细节长期保存下来。
4. Trace
Trace 记录一次请求经过的调用过程,由多个 span 组成;每个 span 表示其中一段操作,保存起止时间、状态、属性以及与其他 span 的关系。
请求跨越 HTTP、RPC 或消息边界时,要传播追踪上下文,下游 span 才能关联到同一次 Trace。已经埋点的阶段可以展示耗时和重试次数,没有埋点的队列或线程等待仍需要补充观测。
异步消费和批量消息可以用 span link 关联来源。分析耗时时还要看执行关系:并行 span 的时间区间会重叠,直接把它们相加,会重复计算同一段时间。
5. 关联 ID
Trace ID 和业务 ID 解决不同的关联问题。Trace ID 用来追踪一次技术调用,订单或任务 ID 则可以连接多次请求,保留完整的业务过程。
外部传入的 request ID 要检查格式与长度,也可以在内部生成可信标识并保存映射。能用某个业务 ID 查日志,不等于拥有查看该业务数据的权限,查询端仍要限制访问范围。
6. 采样
采样是只保留一部分 Trace,以控制采集和存储成本。决定保留的时机不同,能依据的信息也不同:
- 头部采样(head sampling)在请求入口阶段决定,成本较低,但这时还不知道后面会不会出错。
- 尾部采样(tail sampling)等收到更多 span 后,再按错误或耗时选择,因此需要缓冲、状态管理和额外资源。
核心请求量与错误率要由独立指标完整统计,不能仅从被采样的 Trace 推算。安全审计也需要自己的留存管道。故障期间临时提高 Trace 采样率时,应限制范围和时间。
7. 上下文传播
追踪上下文携带把当前操作连接到原请求的信息。W3C traceparent 传递 Trace 与父 span 标识,baggage 则携带额外属性,例如受控的实验标签。
baggage 会继续传给下游,所以要限制大小,避免放入敏感字段。它也不能代替独立的授权机制。
线程池、Future 和消息回调会改变任务的执行位置,因此这些边界也需要传播上下文。任务结束后还要清理,避免线程被复用时,把上一请求的信息带给下一任务。
7.1 请求的 span 生命周期
以服务 A 调用服务 B 为例,上下文传播负责关联,span 生命周期负责记录实际操作。仅把字符串形式的 Trace ID 写进日志,还缺少父子关系、操作起止和遥测导出。
| 位置 | 应做的动作 |
|---|---|
| A 接收请求 | 从请求载体提取并校验传播字段;有合法远端上下文时按约定续接,没有时创建新的追踪上下文 |
| A 开始处理 | 创建服务端 span,把它放进当前请求 context,并将这个 context 传给内部函数 |
| A 调用 B | 为出站操作创建 span,把当前传播上下文注入 HTTP 头或 RPC metadata,而不是传一个进程内 context 对象 |
| B 接收调用 | 提取载体中的上下文,创建自己的服务端 span,使调用关系可以连接起来 |
| 操作结束 | 在正常、错误与取消路径都结束对应 span,记录适合该操作的状态和必要事件,并恢复原来的上下文作用域 |
| 遥测输出 | SDK 按采样与记录决策交给处理器,通过受控导出链路送到 Collector 或追踪后端 |
例如 A 的服务端 span 是 S1,调用 B 的出站 span 是 S2,那么传播出去的是 S2 对应的上下文;B 新建 S3,而不是把收到的 S2 当作自己的 span 继续改写。三个 span 可以属于同一 Trace,但各自表示独立操作。框架自动埋点可能已经完成部分步骤,手工埋点前要核对,避免重复创建同一层 span。
结束 span 不等于同步写入远端后端。导出可能排队、失败或丢弃,采样也可能只保留部分记录。反过来,没有记录完整 span,也不意味着可以停止传播必要的上下文。具体采样方式见采样,导出的有界缓冲和丢弃观测见遥测管道。
7.2 消息队列的异步传播
消息队列把发送与处理分开,进程内 context 不会自动跟随消息过去。生产者需要把用于关联消息创建的上下文注入消息头或其他元数据;消费者取出消息后再提取,并为这一次处理创建新的 span。消费失败重试或消息重新投递时,应记录新的处理尝试,保留业务消息 ID,不能重复使用同一个 span ID 冒充多次执行。
一个 span 至多有一个父节点,多个来源可以用 span link 表达。 OpenTelemetry 的消息约定通常用 link 关联消息创建与消费。单条消息、单一因果来源且符合框架约定时,也可以将消息创建上下文作为处理 span 的父级;如果当前处理还处在另一个请求上下文里,不能不加判断地覆盖它。批量消费来自不同 Trace 的消息时,为各来源添加 link,不能随便挑一条消息的 Trace ID 代表整批。
例如消息 M1 在第一次处理后未能确认,随后再次投递。两次处理可以都关联 M1 的创建上下文,但应有各自的起止、状态与尝试记录;业务是否重复执行,仍由幂等与确认协议保证。Trace 只帮助观察,不提供消息可靠性,相关机制见消息队列。
8. 告警下钻
排查可以先用指标确认影响范围,再查看样本细节:
- 用指标确定异常的时间窗口、区域和服务版本。
- 选择慢请求或错误请求的 Trace,定位关键路径。
- 按 Trace ID 查询事件日志和异常详情。
- 核对对应组件的资源与依赖指标。
- 修复后比较同一 SLI 和等待指标。
一条 Trace 只能解释这个样本。要判断问题是否普遍、修复是否有效,仍需回到聚合指标。
8.1 单个用户消息发送失败
没有全局告警,不代表单个用户的问题不存在。 先取得受控范围内的发生时间、客户端版本、设备与网络情况,以及消息 ID、请求 ID 或可用的 Trace ID。核对客户端与服务端时钟偏差,再查该次操作的状态,不把这个用户 ID 加成长期指标标签。
把“发不出去”拆成下面几段,寻找最后一个有证据确认成功的阶段:
| 阶段 | 需要核对的证据 |
|---|---|
| 客户端生成与发送 | 是否通过本地校验、创建消息 ID、进入发送队列并实际尝试发送;界面点击不等于请求已经发出 |
| 服务入口接收 | 网关或接入服务是否记录同一请求,是否发生鉴权拒绝、限流或连接错误 |
| 处理与持久化 | 业务是否接收、校验并提交;区分明确失败、仍在处理与结果未知 |
| 向接收方投递 | 是否生成待投递记录,消费或推送在哪一环停住;确认接收设备是否在线 |
| 确认返回与界面更新 | 服务端提交确认、接收设备确认和界面展示分别到哪一步,确认消息是否在返回途中丢失 |
例如服务端已有 M1 的提交记录,客户端却显示超时,不能直接断言 M1 没有发送成功,也不能立即创建新 ID 再发一份。先查询原消息状态;若允许重试,就按协议复用业务标识并让接收端去重。确认丢失与状态补取的机制见幂等键,使用 WebSocket 的系统还可参考消息送达与已读,但排查本身不依赖某一种传输协议。
若入口没有记录,先检查日志是否覆盖该入口、查询范围和采样是否正确,再结合客户端错误与链路观测缩小范围;“没有日志”只能说明当前缺少这份证据。确认为网络抖动后,仍要区分请求未到达与确认未返回,按既有协议做有界重试、去重或重连补取。修复后用该用户场景验证结果,再看相同设备、版本或网络条件是否还有受影响用户。
9. 遥测管道
遥测管道负责把日志、指标和 Trace 等观测数据送到后端。它自身变慢时,不应让普通观测数据无限积压,拖慢业务请求。应用可以使用有界队列、批量导出,并按预设策略丢弃普通遥测。
同时监控丢弃的 span 数量、队列容量和导出器错误。否则,后端查不到数据时,无法分清是业务没有发生,还是观测数据没有送达。审计数据另设可靠性和留存策略。
10. 分位数聚合
P99 是 99% 的观测值不超过的值,取决于整个分布。每个实例的 P99 只留下一个数,直接求平均会丢失请求数量和分布信息,因此不能得到整体 P99。
Prometheus 的经典 histogram 保存各个桶的计数。实例使用相同桶边界时,可以先合并计数,再计算分位数:
histogram_quantile(
0.99,
sum by (le, route) (rate(http_request_duration_seconds_bucket[5m]))
)
这段查询先按 le 和 route 聚合桶,再估算各路由最近五分钟的 P99。结果精度取决于桶边界与请求数量,所以桶应在业务延迟目标附近有足够的区分度。
Summary 预先算出的分位数已经失去了这部分分布信息,不能用同样的方法跨实例合并。
11. 尾部采样的完整性
尾部采样只能判断已经到达的数据。上游头部采样丢弃的请求,后面的采样器无法恢复,即使该请求最后发生错误也是如此。
同一 Trace 的 span 还需要汇聚到同一决策节点。等待窗口太短会漏掉迟到的 span,缓冲溢出也会降低错误样本的保留率。因此,查不到 Trace 时,要结合丢弃指标检查采样和导出链路,不能直接认定请求没有发生。
12. 常见问题
12.1 有了 Trace,还需要事件日志吗?
需要。Trace 展示调用关系和耗时,日志补充状态变化与异常细节,两者通过 Trace ID 关联即可。把完整日志重复复制进 Trace 会增加成本,也会扩大敏感信息的传播范围。
12.2 Correlation ID 可以直接使用 Trace ID 吗?
单次同步请求可以共用一个关联标识。跨请求的业务流程则更适合保留独立业务 ID,因为一次订单流程可能包含多次技术调用。Trace ID 继续用于各条技术链路的追踪。
13. 面试题卡片
14. 参考资料
- OpenTelemetry:Signals
- W3C:Trace Context
- OpenTelemetry:Sampling
- Google SRE:Monitoring Distributed Systems
- Prometheus:Histograms and summaries
- OpenTelemetry Collector:Tail sampling processor
- Prometheus:Writing exporters
- OpenTelemetry:Context propagation
- OpenTelemetry:Messaging spans
- OpenTelemetry:Tracing API
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明