测试金字塔
测试金字塔是一种按验证范围和成本组织测试的方式:用较多的小范围测试检查规则和边界,用较少的大范围测试验证组件能否一起完成业务。它不规定各类测试的固定比例,关键是把每种风险放到能可靠发现它的层级。
例如,金额舍入可以直接测试计算结果,数据库是否截断金额却要连接真实数据库验证。面试中解释测试方案时,要说清楚每层实际检查了什么,以及哪些问题还没有被覆盖。
1. 面试核心
先记住这几条,再读正文- 单元测试验证局部规则,集成测试验证真实组件协作;用例应放在能可靠发现问题的最小范围。卡 · 测试范围
- 契约测试要验证提供方实现是否满足消费方的接口约定;完整业务流程仍需端到端测试。卡 · 消费方契约与服务端验证
- 修复缺陷时,回归测试应保留触发条件,并检查修复后的可观察结果,防止同一问题再次出现。
- JaCoCo 的行覆盖率和分支覆盖率说明代码是否执行过,不说明结果是否正确。卡 · 回归测试
- 变异测试临时修改条件或返回值,再运行测试,检查断言能否识别行为变化。卡 · 变异测试结果
2. 测试范围
选择测试类型时,先确定要验证的行为涉及哪些真实组件。下表列出了各层能提供的证据,以及需要其他层补充的部分。
| 类型 | 主要证据 | 常见盲区 |
|---|---|---|
| 单元测试 | 一个行为单元的规则与边界 | 框架配置、真实协议、数据库 |
| 组件或切片测试 | Web、数据访问等局部集成 | 完整部署与跨服务链路 |
| 集成测试 | 真实数据库、消息或客户端协作 | 全系统用户流程 |
| 契约测试 | 提供方与消费方接口兼容 | 服务内部正确性、真实容量 |
| 端到端测试 | 部署环境中的关键业务路径 | 细粒度失败定位、所有组合 |
同一条支付流程中,不同问题需要不同层级的测试:
- 金额舍入规则用单元测试,直接检查输入与计算结果。
- 数据库列精度用集成测试,确认写入后是否发生截断或舍入。
- 支付回调字段用契约测试,检查消费方与提供方是否兼容。
- 真实下单主路径用少量端到端测试,确认部署后的组件能一起完成业务。
3. 底层测试的数量
单元测试适合覆盖大量分支和边界,因为运行范围小,失败后容易找到对应规则。端到端测试还要协调进程、网络、数据和异步任务,执行与定位成本会随范围扩大:
- 测试需要启动和连接更多组件,环境更难建立。
- 一次用例经过的环节更多,运行时间更长。
- 网络、进程和业务都能导致失败,因此定位原因更难。
- 多个用例共用完整环境时,测试数据更易冲突。
- 重试后通过会掩盖偶发失败,使不稳定因素继续存在。
因此,可以把大量规则检查放在底层,给上层保留关键协作路径。具体分布仍要看业务风险:
- 纯规则多的系统适合大量单元测试。
- 数据库逻辑集中的系统需要更多集成测试。
- 简单数据管道可以以组件测试为主,重点检查数据在组件间的转换。
4. 真实依赖
验证数据访问行为时,应使用与生产兼容的真实数据库。Testcontainers 在测试中启动容器,让用例连接固定版本的依赖。下面用 PostgreSQL 容器举例,使用 Testcontainers 1.21.3 的 API:
@Testcontainers
class OrderRepositoryTest {
@Container
static PostgreSQLContainer<?> database =
new PostgreSQLContainer<>("postgres:18");
}
示例声明了 PostgreSQL 容器,由 Testcontainers 的 JUnit 扩展管理启动与停止。持续集成(CI)也能使用这个镜像建立隔离环境。不过,启动了数据库并不等于数据已经准备好,还需要处理这些问题:
- 执行 schema 迁移,也就是按版本创建和更新表结构。
- 清理每个用例写入的数据,防止后续用例读到残留记录。
- 明确容器何时启动、是否复用,平衡启动成本与隔离程度。
- 核对 ARM/x86 架构和生产插件的差异,确认测试覆盖实际部署环境。
- 确认外部镜像能够获取,并检查镜像来源和供应链安全。
固定镜像提高了环境的可重复性,生产参数和数据规模仍需单独核对。
数据访问的具体测试范围见 批处理与分页。
5. 契约测试
契约测试是用可执行的交互约定,检查接口双方是否兼容的测试。服务 A 调用服务 B 时,A 是消费方,B 是提供方。假如 B 重命名了一个字段,而 A 还按旧名称读取,即使双方内部测试都通过,实际调用仍会失败。下面的支付结果就是双方需要核对的一项约定:
{
"status": "PAID",
"amount": {
"value": "10.00",
"currency": "CNY"
}
}
样例约定了支付状态、金额和币种的表示方式。消费方验证客户端能处理这个结果,提供方再验证自己的实现确实能返回符合约定的结果。双方核对的是同一份契约,可以据此发现这些问题:
- 提供方删除或重命名了消费方需要的字段。
- 字段类型或可空性改变,使客户端解析或校验失败。
- 状态码或错误体改变,使客户端进入错误的处理分支。
- 消费方依赖的枚举值改变,客户端无法按原约定处理状态。
契约验证覆盖约定的交互,真实网络容量和认证设施仍需集成测试。跨多个服务的完整业务结果,则交给少量端到端测试验证。
6. 回归测试
回归测试是在代码修改后重新验证已有行为的测试,用于防止原本正确的功能被改坏。修复缺陷时,可以先保留一个能稳定复现错误的最小用例,再修改实现,让这个用例保护修复结果:
- 记录触发问题的输入,让缺陷能够重现。
- 写明必须保持的外部行为,让断言有明确依据。
- 验证修复后的结果,防止后续变更再次破坏该行为。
缩小用例时,保留触发条件,删除与根因无关的生产请求字段和数据。这样,后来维护代码的人才能看懂测试为何失败。涉及真实集成路径的缺陷,还需在对应层级验证修复。
7. 覆盖率的含义
覆盖率衡量测试执行到了哪些代码。一行只要有一条指令执行过,JaCoCo 就把它计入已执行的行;这不代表该行的所有指令都执行过,报告仍可能显示部分覆盖。分支覆盖率统计 if 和 switch 的分支,异常处理不计入这项分支计数。
即使行覆盖率达到 100%,也不能保证行为正确:
- 代码执行了,但断言没有检查关键结果。
- 某行中的分支尚未走全,或分支全覆盖后仍遗漏输入组合。
- 测试复制了实现中的错误算法,算出的期望值也错了。
- 并发时序和外部协议边界尚未验证。
- 异常被捕获后,测试没有检查数据或对象是否处于正确状态。
所以,覆盖率适合寻找未执行区域,质量判断还要结合这些盲区。边界用例和真实集成检查行为,变异测试进一步检查断言能否发现代码错误。具体要覆盖什么,仍由业务风险决定。
8. 不稳定测试
不稳定测试(flaky test)是代码未变、结果却时而通过时而失败的测试。排查这类问题,要找出测试还依赖了哪些没有控制住的条件:
- 用例依赖真实时间或固定
sleep,机器变慢后等待时间就不够。 - 用例共享数据,结果随执行顺序改变。
- 异步任务尚未结束,测试就开始断言。
- 随机端口冲突、网络波动或第三方服务故障影响结果。
- 并发断言缺少同步条件,读到的状态随线程调度改变。
- 数据库清理或事务边界错误,使记录残留或提前回滚。
重跑可以收集失败频率与环境证据,但一次重跑通过并没有消除根因。持续误报会让团队忽略实际发生的回归,所以要修复共享状态、时间或等待条件。临时隔离时,应记录恢复条件并补足关键覆盖。已经失去验证价值的用例可以删除,其原本覆盖的风险仍需重新评估。
9. 风险与测试层级
安排测试时,要先确定错误的业务影响,再选择能发现它的测试。每项变更都可以从下面几个问题出发:
- 错误影响多大?
- 最便宜的哪一层能可靠发现它?
- 哪些真实组件行为不能被替身模拟?
- 哪个边界由其他团队或服务维护?
- 失败后能否快速定位和重放?
以支付适配器为例,可以把验证分配到不同层级:
- 单元测试验证金额处理、幂等键生成和错误映射。
- 契约测试验证请求字段、签名输入和响应结构。
- 集成测试验证 HTTP 客户端超时、TLS 连接与序列化。
- 端到端测试在沙箱中各验证一条成功和失败的主流程。
10. 消费方契约与服务端验证
消费方对模拟服务测试通过,只能说明客户端会处理约定的响应,还不能说明提供方真的会返回这个响应。Pact 用消费方驱动的契约测试把两边连起来:先让真实客户端请求模拟提供方,记录交互并生成契约;再向提供方的实际实现发起契约中的请求,检查响应是否符合约定。
提供方状态(provider state)是处理一项契约交互前需要准备的条件。例如,要验证查询订单的响应,就先准备“订单存在”的数据。每项交互独立准备所需状态,才不会依赖上一项交互留下的数据。
发布时还要核对契约版本,使用仍在运行的消费方对应的验证结果。旧版本客户端尚未停用,就仍可能依赖旧的接口行为。
11. 变异测试结果
变异测试是临时修改生产代码、再运行测试的方法,用来检查测试能否发现行为变化。PIT 是 Java 的变异测试工具,会改变条件、运算或返回值。测试因此失败,称为“杀死”该变异;测试仍通过,则称为变异存活。
变异没有使测试失败时,先检查是哪一种情况:
- 修改位置没有被测试执行到,应先检查覆盖范围。
- 修改位置已执行,行为也变了,但测试仍通过,应补边界输入或结果断言。
- 修改只改变代码形式,外部行为仍相同,这属于等价变异。
例如,原规则用 < 0 拒绝负数金额,变异把条件改成 <= 0,就会连零金额也拒绝。若测试明确检查了零金额合法,它就应该失败;如果只测了正数和负数,这个边界错误就可能漏掉。
12. 常见问题
12.1 有端到端测试还需要单元测试吗?
需要,两者验证的范围不同。端到端测试证明少量完整路径能工作,但覆盖边界慢,失败时也难定位。单元测试能低成本覆盖规则边界和失败分支,所以适合与端到端测试组合使用。
12.2 H2 能替代目标数据库的集成测试吗?
H2 可以验证它与目标数据库共同支持的 SQL 和 JDBC 逻辑。生产数据库特有的方言、锁、索引、时间类型和约束行为,仍需在同类真实数据库中验证。否则,H2 中通过的用例会漏掉生产环境的行为差异。
12.3 契约测试是否就是接口文档校验?
两者验证的对象不同。接口文档描述预期,契约测试执行消费方交互,再验证提供方实现。因此,契约版本要跟随活跃消费方维护,已经停用的消费方也要及时退出验证。
12.4 测试中的重复代码要不要抽取?
重复的环境建立和对象工厂可以抽取。关键输入与期望结果应保留在用例附近,让读者直接看懂业务场景。如果理解一次失败需要跳转多层辅助方法,就应减少这类封装。
13. 面试题卡片
14. 参考资料
- JUnit User Guide
- Testcontainers for Java
- Pact Documentation
- JaCoCo Documentation
- Pact:How Pact works
- Pact:Provider states
- JaCoCo:Coverage Counter
- PIT:Basic concepts
- Testcontainers 1.21.3:PostgreSQLContainer 源码
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明