跳到主要内容
约 10 分钟4 张卡

测试金字塔

测试金字塔是一种按验证范围和成本组织测试的方式:用较多的小范围测试检查规则和边界,用较少的大范围测试验证组件能否一起完成业务。它不规定各类测试的固定比例,关键是把每种风险放到能可靠发现它的层级。

例如,金额舍入可以直接测试计算结果,数据库是否截断金额却要连接真实数据库验证。面试中解释测试方案时,要说清楚每层实际检查了什么,以及哪些问题还没有被覆盖。

1. 面试核心​

先记住这几条,再读正文
  • 单元测试验证局部规则,集成测试验证真实组件协作;用例应放在能可靠发现问题的最小范围。卡 · 测试范围
  • 契约测试要验证提供方实现是否满足消费方的接口约定;完整业务流程仍需端到端测试。卡 · 消费方契约与服务端验证
  • 修复缺陷时,回归测试应保留触发条件,并检查修复后的可观察结果,防止同一问题再次出现。
  • JaCoCo 的行覆盖率和分支覆盖率说明代码是否执行过,不说明结果是否正确。卡 · 回归测试
  • 变异测试临时修改条件或返回值,再运行测试,检查断言能否识别行为变化。卡 · 变异测试结果

2. 测试范围​

选择测试类型时,先确定要验证的行为涉及哪些真实组件。下表列出了各层能提供的证据,以及需要其他层补充的部分。

类型主要证据常见盲区
单元测试一个行为单元的规则与边界框架配置、真实协议、数据库
组件或切片测试Web、数据访问等局部集成完整部署与跨服务链路
集成测试真实数据库、消息或客户端协作全系统用户流程
契约测试提供方与消费方接口兼容服务内部正确性、真实容量
端到端测试部署环境中的关键业务路径细粒度失败定位、所有组合

同一条支付流程中,不同问题需要不同层级的测试:

  • 金额舍入规则用单元测试,直接检查输入与计算结果。
  • 数据库列精度用集成测试,确认写入后是否发生截断或舍入。
  • 支付回调字段用契约测试,检查消费方与提供方是否兼容。
  • 真实下单主路径用少量端到端测试,确认部署后的组件能一起完成业务。

3. 底层测试的数量​

单元测试适合覆盖大量分支和边界,因为运行范围小,失败后容易找到对应规则。端到端测试还要协调进程、网络、数据和异步任务,执行与定位成本会随范围扩大:

  • 测试需要启动和连接更多组件,环境更难建立。
  • 一次用例经过的环节更多,运行时间更长。
  • 网络、进程和业务都能导致失败,因此定位原因更难。
  • 多个用例共用完整环境时,测试数据更易冲突。
  • 重试后通过会掩盖偶发失败,使不稳定因素继续存在。

因此,可以把大量规则检查放在底层,给上层保留关键协作路径。具体分布仍要看业务风险:

  • 纯规则多的系统适合大量单元测试。
  • 数据库逻辑集中的系统需要更多集成测试。
  • 简单数据管道可以以组件测试为主,重点检查数据在组件间的转换。

4. 真实依赖​

验证数据访问行为时,应使用与生产兼容的真实数据库。Testcontainers 在测试中启动容器,让用例连接固定版本的依赖。下面用 PostgreSQL 容器举例,使用 Testcontainers 1.21.3 的 API:

@Testcontainers
class OrderRepositoryTest {
@Container
static PostgreSQLContainer<?> database =
new PostgreSQLContainer<>("postgres:18");
}

示例声明了 PostgreSQL 容器,由 Testcontainers 的 JUnit 扩展管理启动与停止。持续集成(CI)也能使用这个镜像建立隔离环境。不过,启动了数据库并不等于数据已经准备好,还需要处理这些问题:

  • 执行 schema 迁移,也就是按版本创建和更新表结构。
  • 清理每个用例写入的数据,防止后续用例读到残留记录。
  • 明确容器何时启动、是否复用,平衡启动成本与隔离程度。
  • 核对 ARM/x86 架构和生产插件的差异,确认测试覆盖实际部署环境。
  • 确认外部镜像能够获取,并检查镜像来源和供应链安全。

固定镜像提高了环境的可重复性,生产参数和数据规模仍需单独核对。

数据访问的具体测试范围见 批处理与分页。

5. 契约测试​

契约测试是用可执行的交互约定,检查接口双方是否兼容的测试。服务 A 调用服务 B 时,A 是消费方,B 是提供方。假如 B 重命名了一个字段,而 A 还按旧名称读取,即使双方内部测试都通过,实际调用仍会失败。下面的支付结果就是双方需要核对的一项约定:

{
"status": "PAID",
"amount": {
"value": "10.00",
"currency": "CNY"
}
}

样例约定了支付状态、金额和币种的表示方式。消费方验证客户端能处理这个结果,提供方再验证自己的实现确实能返回符合约定的结果。双方核对的是同一份契约,可以据此发现这些问题:

  • 提供方删除或重命名了消费方需要的字段。
  • 字段类型或可空性改变,使客户端解析或校验失败。
  • 状态码或错误体改变,使客户端进入错误的处理分支。
  • 消费方依赖的枚举值改变,客户端无法按原约定处理状态。

契约验证覆盖约定的交互,真实网络容量和认证设施仍需集成测试。跨多个服务的完整业务结果,则交给少量端到端测试验证。

6. 回归测试​

回归测试是在代码修改后重新验证已有行为的测试,用于防止原本正确的功能被改坏。修复缺陷时,可以先保留一个能稳定复现错误的最小用例,再修改实现,让这个用例保护修复结果:

  • 记录触发问题的输入,让缺陷能够重现。
  • 写明必须保持的外部行为,让断言有明确依据。
  • 验证修复后的结果,防止后续变更再次破坏该行为。

缩小用例时,保留触发条件,删除与根因无关的生产请求字段和数据。这样,后来维护代码的人才能看懂测试为何失败。涉及真实集成路径的缺陷,还需在对应层级验证修复。

7. 覆盖率的含义​

覆盖率衡量测试执行到了哪些代码。一行只要有一条指令执行过,JaCoCo 就把它计入已执行的行;这不代表该行的所有指令都执行过,报告仍可能显示部分覆盖。分支覆盖率统计 if 和 switch 的分支,异常处理不计入这项分支计数。

即使行覆盖率达到 100%,也不能保证行为正确:

  • 代码执行了,但断言没有检查关键结果。
  • 某行中的分支尚未走全,或分支全覆盖后仍遗漏输入组合。
  • 测试复制了实现中的错误算法,算出的期望值也错了。
  • 并发时序和外部协议边界尚未验证。
  • 异常被捕获后,测试没有检查数据或对象是否处于正确状态。

所以,覆盖率适合寻找未执行区域,质量判断还要结合这些盲区。边界用例和真实集成检查行为,变异测试进一步检查断言能否发现代码错误。具体要覆盖什么,仍由业务风险决定。

8. 不稳定测试​

不稳定测试(flaky test)是代码未变、结果却时而通过时而失败的测试。排查这类问题,要找出测试还依赖了哪些没有控制住的条件:

  • 用例依赖真实时间或固定 sleep,机器变慢后等待时间就不够。
  • 用例共享数据,结果随执行顺序改变。
  • 异步任务尚未结束,测试就开始断言。
  • 随机端口冲突、网络波动或第三方服务故障影响结果。
  • 并发断言缺少同步条件,读到的状态随线程调度改变。
  • 数据库清理或事务边界错误,使记录残留或提前回滚。

重跑可以收集失败频率与环境证据,但一次重跑通过并没有消除根因。持续误报会让团队忽略实际发生的回归,所以要修复共享状态、时间或等待条件。临时隔离时,应记录恢复条件并补足关键覆盖。已经失去验证价值的用例可以删除,其原本覆盖的风险仍需重新评估。

9. 风险与测试层级​

安排测试时,要先确定错误的业务影响,再选择能发现它的测试。每项变更都可以从下面几个问题出发:

  1. 错误影响多大?
  2. 最便宜的哪一层能可靠发现它?
  3. 哪些真实组件行为不能被替身模拟?
  4. 哪个边界由其他团队或服务维护?
  5. 失败后能否快速定位和重放?

以支付适配器为例,可以把验证分配到不同层级:

  • 单元测试验证金额处理、幂等键生成和错误映射。
  • 契约测试验证请求字段、签名输入和响应结构。
  • 集成测试验证 HTTP 客户端超时、TLS 连接与序列化。
  • 端到端测试在沙箱中各验证一条成功和失败的主流程。

10. 消费方契约与服务端验证​

消费方对模拟服务测试通过,只能说明客户端会处理约定的响应,还不能说明提供方真的会返回这个响应。Pact 用消费方驱动的契约测试把两边连起来:先让真实客户端请求模拟提供方,记录交互并生成契约;再向提供方的实际实现发起契约中的请求,检查响应是否符合约定。

提供方状态(provider state)是处理一项契约交互前需要准备的条件。例如,要验证查询订单的响应,就先准备“订单存在”的数据。每项交互独立准备所需状态,才不会依赖上一项交互留下的数据。

发布时还要核对契约版本,使用仍在运行的消费方对应的验证结果。旧版本客户端尚未停用,就仍可能依赖旧的接口行为。

11. 变异测试结果​

变异测试是临时修改生产代码、再运行测试的方法,用来检查测试能否发现行为变化。PIT 是 Java 的变异测试工具,会改变条件、运算或返回值。测试因此失败,称为“杀死”该变异;测试仍通过,则称为变异存活。

变异没有使测试失败时,先检查是哪一种情况:

  • 修改位置没有被测试执行到,应先检查覆盖范围。
  • 修改位置已执行,行为也变了,但测试仍通过,应补边界输入或结果断言。
  • 修改只改变代码形式,外部行为仍相同,这属于等价变异。

例如,原规则用 < 0 拒绝负数金额,变异把条件改成 <= 0,就会连零金额也拒绝。若测试明确检查了零金额合法,它就应该失败;如果只测了正数和负数,这个边界错误就可能漏掉。

12. 常见问题​

12.1 有端到端测试还需要单元测试吗?​

需要,两者验证的范围不同。端到端测试证明少量完整路径能工作,但覆盖边界慢,失败时也难定位。单元测试能低成本覆盖规则边界和失败分支,所以适合与端到端测试组合使用。

12.2 H2 能替代目标数据库的集成测试吗?​

12.3 契约测试是否就是接口文档校验?​

12.4 测试中的重复代码要不要抽取?​

13. 面试题卡片​

14. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明