跳到主要内容
约 14 分钟7 张卡

可观测性

可观测性是通过系统输出的信号理解内部行为的能力。指标反映总体变化,日志记录具体事件,调用追踪(Trace)把一次请求经过的操作连起来。排查故障时,需要用它们回答「影响有多大」「请求慢在哪里」和「当时发生了什么」。

三种信号要能关联,也要知道各自的限制:指标经过聚合,Trace 可能被采样,日志也未必记录了每个步骤。

1. 面试核心​

先记住这几条,再读正文
  • 指标保存聚合趋势,日志记录事件详情,Trace 展示调用路径,三者提供不同层面的证据。卡 · 指标
  • 指标标签的取值组合越多,时间序列数量与存储成本越高,用户 ID 等不受控的值不适合直接作为标签。
  • Trace ID 关联一次技术调用,业务 ID 则用于连接跨请求的业务流程。
  • 尾部采样只能选择已经收到的数据,无法恢复前面已经丢弃的 span。卡 · 尾部采样的完整性
  • 追踪要完成入口提取上下文、创建 span、跨边界注入与提取、结束并导出的链路,日志里带一个 ID 并不等于已经实现追踪。卡 · 请求的 span 生命周期
  • Histogram 保存的分布可以合并,但多个实例的 P99 不能直接取平均得到整体 P99。卡 · 分位数聚合

2. 指标​

指标是按时间记录的数值,适合观察请求量、错误率和资源占用的变化。Counter 记录累计量,gauge 记录当前值,histogram 用桶记录观测值的分布,可以据此估算延迟分位数。

告警优先关注成功率和延迟等服务质量指标(SLI),因为它们直接反映用户受到的影响。CPU、队列和连接池指标则帮助解释资源是否饱和。

标签让指标可以按路由、区域和版本拆分,但每一种取值组合都会增加时间序列。route、region 和 version 可以控制取值范围,用户 ID 和订单号却会不断增加,更适合放进有访问权限控制的日志或 Trace。这就是标签基数需要受控的原因。

2.1 Prometheus exporter 的采集链路​

Exporter 把目标系统的状态转换为 Prometheus 能抓取的指标。例如目标只提供一个状态查询接口,exporter 就负责访问它、转换单位和类型,并提供通常位于 /metrics 的 HTTP 端点。典型拉取过程是:

  1. Prometheus 根据配置或服务发现确定抓取地址,向指标端点发起请求。
  2. Exporter 的 collector 查询目标状态,在超时与并发上限内完成采集。
  3. Collector 将本次结果转换为具有稳定名称、标签、单位和类型的样本。
  4. HTTP 端点返回符合约定格式的指标,Prometheus 解析并保存样本。

例如目标返回“自启动以来完成了 120 次任务”,应导出累计 Counter 值 120,不能每次抓取都给 exporter 自己的计数器再加 120。目标当前排队 7 个任务则是 gauge。对于本次已消失的目标标签,也不能一直输出旧值,假装该对象仍存在。

失败必须可辨认。目标不可访问时,可以让本次抓取返回失败;也可以在仍有部分有效指标时,返回专门的目标采集成功标记,例如 myexporter_up=0。后一种情况下,Prometheus 自己的 up=1 只说明成功抓取了 exporter,不代表被观测的业务健康。不要用 0 或上次成功值冒充本次成功采集的业务值。

优化先测采集耗时和对目标的负担,再限制昂贵查询、标签数量及并发。一般按 Prometheus 的抓取时机同步采集;特别昂贵的数据可以有明确缓存策略,但必须说明新鲜度与失效条件。降低采集成本与缩短发现异常的时间可能冲突,不能只报告 exporter 的 CPU 降低。项目中的具体优化比例,应由同一负载下的前后记录证明。

3. 结构化日志​

结构化日志用稳定字段记录事件,例如时间、服务、版本、错误类型、Trace ID 和必要的业务键。字段一致,才能可靠地检索同一次请求或比较不同版本。

完整异常栈在负责处理失败的边界记录即可。中间层逐层重复打印,会让同一次失败产生多份日志,还可能把错误计数放大。

日志中要过滤 token、密码和敏感请求内容。预期业务拒绝使用相应事件级别,临时调试日志则限制范围和持续时间,避免把所有运行细节长期保存下来。

4. Trace​

Trace 记录一次请求经过的调用过程,由多个 span 组成;每个 span 表示其中一段操作,保存起止时间、状态、属性以及与其他 span 的关系。

请求跨越 HTTP、RPC 或消息边界时,要传播追踪上下文,下游 span 才能关联到同一次 Trace。已经埋点的阶段可以展示耗时和重试次数,没有埋点的队列或线程等待仍需要补充观测。

异步消费和批量消息可以用 span link 关联来源。分析耗时时还要看执行关系:并行 span 的时间区间会重叠,直接把它们相加,会重复计算同一段时间。

5. 关联 ID​

Trace ID 和业务 ID 解决不同的关联问题。Trace ID 用来追踪一次技术调用,订单或任务 ID 则可以连接多次请求,保留完整的业务过程。

外部传入的 request ID 要检查格式与长度,也可以在内部生成可信标识并保存映射。能用某个业务 ID 查日志,不等于拥有查看该业务数据的权限,查询端仍要限制访问范围。

6. 采样​

采样是只保留一部分 Trace,以控制采集和存储成本。决定保留的时机不同,能依据的信息也不同:

  • 头部采样(head sampling)在请求入口阶段决定,成本较低,但这时还不知道后面会不会出错。
  • 尾部采样(tail sampling)等收到更多 span 后,再按错误或耗时选择,因此需要缓冲、状态管理和额外资源。

核心请求量与错误率要由独立指标完整统计,不能仅从被采样的 Trace 推算。安全审计也需要自己的留存管道。故障期间临时提高 Trace 采样率时,应限制范围和时间。

7. 上下文传播​

追踪上下文携带把当前操作连接到原请求的信息。W3C traceparent 传递 Trace 与父 span 标识,baggage 则携带额外属性,例如受控的实验标签。

baggage 会继续传给下游,所以要限制大小,避免放入敏感字段。它也不能代替独立的授权机制。

线程池、Future 和消息回调会改变任务的执行位置,因此这些边界也需要传播上下文。任务结束后还要清理,避免线程被复用时,把上一请求的信息带给下一任务。

7.1 请求的 span 生命周期​

以服务 A 调用服务 B 为例,上下文传播负责关联,span 生命周期负责记录实际操作。仅把字符串形式的 Trace ID 写进日志,还缺少父子关系、操作起止和遥测导出。

位置应做的动作
A 接收请求从请求载体提取并校验传播字段;有合法远端上下文时按约定续接,没有时创建新的追踪上下文
A 开始处理创建服务端 span,把它放进当前请求 context,并将这个 context 传给内部函数
A 调用 B为出站操作创建 span,把当前传播上下文注入 HTTP 头或 RPC metadata,而不是传一个进程内 context 对象
B 接收调用提取载体中的上下文,创建自己的服务端 span,使调用关系可以连接起来
操作结束在正常、错误与取消路径都结束对应 span,记录适合该操作的状态和必要事件,并恢复原来的上下文作用域
遥测输出SDK 按采样与记录决策交给处理器,通过受控导出链路送到 Collector 或追踪后端

例如 A 的服务端 span 是 S1,调用 B 的出站 span 是 S2,那么传播出去的是 S2 对应的上下文;B 新建 S3,而不是把收到的 S2 当作自己的 span 继续改写。三个 span 可以属于同一 Trace,但各自表示独立操作。框架自动埋点可能已经完成部分步骤,手工埋点前要核对,避免重复创建同一层 span。

结束 span 不等于同步写入远端后端。导出可能排队、失败或丢弃,采样也可能只保留部分记录。反过来,没有记录完整 span,也不意味着可以停止传播必要的上下文。具体采样方式见采样,导出的有界缓冲和丢弃观测见遥测管道。

7.2 消息队列的异步传播​

消息队列把发送与处理分开,进程内 context 不会自动跟随消息过去。生产者需要把用于关联消息创建的上下文注入消息头或其他元数据;消费者取出消息后再提取,并为这一次处理创建新的 span。消费失败重试或消息重新投递时,应记录新的处理尝试,保留业务消息 ID,不能重复使用同一个 span ID 冒充多次执行。

一个 span 至多有一个父节点,多个来源可以用 span link 表达。 OpenTelemetry 的消息约定通常用 link 关联消息创建与消费。单条消息、单一因果来源且符合框架约定时,也可以将消息创建上下文作为处理 span 的父级;如果当前处理还处在另一个请求上下文里,不能不加判断地覆盖它。批量消费来自不同 Trace 的消息时,为各来源添加 link,不能随便挑一条消息的 Trace ID 代表整批。

例如消息 M1 在第一次处理后未能确认,随后再次投递。两次处理可以都关联 M1 的创建上下文,但应有各自的起止、状态与尝试记录;业务是否重复执行,仍由幂等与确认协议保证。Trace 只帮助观察,不提供消息可靠性,相关机制见消息队列。

8. 告警下钻​

排查可以先用指标确认影响范围,再查看样本细节:

  1. 用指标确定异常的时间窗口、区域和服务版本。
  2. 选择慢请求或错误请求的 Trace,定位关键路径。
  3. 按 Trace ID 查询事件日志和异常详情。
  4. 核对对应组件的资源与依赖指标。
  5. 修复后比较同一 SLI 和等待指标。

一条 Trace 只能解释这个样本。要判断问题是否普遍、修复是否有效,仍需回到聚合指标。

8.1 单个用户消息发送失败​

没有全局告警,不代表单个用户的问题不存在。 先取得受控范围内的发生时间、客户端版本、设备与网络情况,以及消息 ID、请求 ID 或可用的 Trace ID。核对客户端与服务端时钟偏差,再查该次操作的状态,不把这个用户 ID 加成长期指标标签。

把“发不出去”拆成下面几段,寻找最后一个有证据确认成功的阶段:

阶段需要核对的证据
客户端生成与发送是否通过本地校验、创建消息 ID、进入发送队列并实际尝试发送;界面点击不等于请求已经发出
服务入口接收网关或接入服务是否记录同一请求,是否发生鉴权拒绝、限流或连接错误
处理与持久化业务是否接收、校验并提交;区分明确失败、仍在处理与结果未知
向接收方投递是否生成待投递记录,消费或推送在哪一环停住;确认接收设备是否在线
确认返回与界面更新服务端提交确认、接收设备确认和界面展示分别到哪一步,确认消息是否在返回途中丢失

例如服务端已有 M1 的提交记录,客户端却显示超时,不能直接断言 M1 没有发送成功,也不能立即创建新 ID 再发一份。先查询原消息状态;若允许重试,就按协议复用业务标识并让接收端去重。确认丢失与状态补取的机制见幂等键,使用 WebSocket 的系统还可参考消息送达与已读,但排查本身不依赖某一种传输协议。

若入口没有记录,先检查日志是否覆盖该入口、查询范围和采样是否正确,再结合客户端错误与链路观测缩小范围;“没有日志”只能说明当前缺少这份证据。确认为网络抖动后,仍要区分请求未到达与确认未返回,按既有协议做有界重试、去重或重连补取。修复后用该用户场景验证结果,再看相同设备、版本或网络条件是否还有受影响用户。

9. 遥测管道​

遥测管道负责把日志、指标和 Trace 等观测数据送到后端。它自身变慢时,不应让普通观测数据无限积压,拖慢业务请求。应用可以使用有界队列、批量导出,并按预设策略丢弃普通遥测。

同时监控丢弃的 span 数量、队列容量和导出器错误。否则,后端查不到数据时,无法分清是业务没有发生,还是观测数据没有送达。审计数据另设可靠性和留存策略。

10. 分位数聚合​

P99 是 99% 的观测值不超过的值,取决于整个分布。每个实例的 P99 只留下一个数,直接求平均会丢失请求数量和分布信息,因此不能得到整体 P99。

Prometheus 的经典 histogram 保存各个桶的计数。实例使用相同桶边界时,可以先合并计数,再计算分位数:

histogram_quantile(
0.99,
sum by (le, route) (rate(http_request_duration_seconds_bucket[5m]))
)

这段查询先按 le 和 route 聚合桶,再估算各路由最近五分钟的 P99。结果精度取决于桶边界与请求数量,所以桶应在业务延迟目标附近有足够的区分度。

Summary 预先算出的分位数已经失去了这部分分布信息,不能用同样的方法跨实例合并。

11. 尾部采样的完整性​

尾部采样只能判断已经到达的数据。上游头部采样丢弃的请求,后面的采样器无法恢复,即使该请求最后发生错误也是如此。

同一 Trace 的 span 还需要汇聚到同一决策节点。等待窗口太短会漏掉迟到的 span,缓冲溢出也会降低错误样本的保留率。因此,查不到 Trace 时,要结合丢弃指标检查采样和导出链路,不能直接认定请求没有发生。

12. 常见问题​

12.1 有了 Trace,还需要事件日志吗?​

需要。Trace 展示调用关系和耗时,日志补充状态变化与异常细节,两者通过 Trace ID 关联即可。把完整日志重复复制进 Trace 会增加成本,也会扩大敏感信息的传播范围。

12.2 Correlation ID 可以直接使用 Trace ID 吗?​

13. 面试题卡片​

14. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明