灾难恢复
灾难恢复是在严重故障后,利用数据副本、备份和恢复流程重建业务能力。设计时需要先确定能接受停机多久、能接受丢失多少时间内的数据,再选择复制、备份和预置资源的方案。
备节点能够启动,并不能证明灾难恢复完成。数据库、应用、依赖和用户入口都需要恢复,业务结果也要经过验证。
1. 面试核心
先记住这几条,再读正文2. 高可用
高可用是通过冗余和故障转移减少服务中断的能力。要让冗余起作用,先要分清副本会在哪些故障中一起失效。
故障域是可能被同一次故障共同影响的范围,例如一台主机、一个可用区或一个地域。两个实例共用同一交换机,交换机故障就会同时影响它们;共享数据库、网络、证书或错误配置,也可能造成共同故障。
因此,副本位置需要覆盖准备应对的故障域。软件发布造成的故障,还需要灰度和回退设计,仅增加副本并不能避免相同错误同时生效。
3. 接管路径
接管方案要说明怎样发现故障、怎样同步状态,以及剩余资源能否承接流量。写入隔离和客户端切流的具体过程见故障转移。
恢复目标需要覆盖依赖和用户入口。例如,数据库进程已经启动,但应用仍连不上数据库,用户就无法完成交易,此时还不能认定业务已恢复。
4. 备份
备份是为后续恢复保留的历史数据副本。运行中的复制会把误删和错误更新继续传播到其他副本,而备份让系统有机会回到错误发生前的状态。
备份策略要明确频率、保留期和异地存储方式。加密密钥、配置及应用镜像也要能够恢复,否则数据还在,业务却可能启动不了。独立账号和访问控制有助于避免一次误操作同时损坏线上数据和备份。
备份是否可用,要通过恢复测试确认:在隔离环境中加载备份,检查数据完整性,并验证业务操作的结果。
4.1 时间点恢复
时间点恢复(PITR)是在加载基础备份后,重放后续日志到指定时间或位置的恢复方式。PostgreSQL 18 使用基础备份与 WAL 归档;WAL 是记录数据库变化的预写日志,恢复所需的区间必须连续。普通 pg_dump 导出不能作为 WAL 重放的基础备份。
假设 12:00 发生故障,最后可恢复位置对应 11:57,数据恢复点就落后 3 分钟。如果到 12:20 才恢复约定的业务能力,恢复耗时则是 20 分钟。这两个数字分别用来核对 RPO 和 RTO。
误删时还需要找到错误操作之前的位置。回到那个位置后,期间发生的合法新写入也需要另行核对和补录。最新副本不能替代这种历史选择。
5. RPO
恢复点目标(RPO)是业务允许丢失的数据时间窗口。目标为 15 分钟,表示最多接受丢失这段时间内的变化;具体是多少条记录,还取决于窗口内的写入量。
如果只有每日备份,没有增量日志,就无法满足分钟级目标。使用异步复制时,要看灾后可用副本实际追到了哪里;使用同步确认时,也要说明数据持久化到了哪里、能抵御哪个故障域的损坏。
不同数据可以设不同目标。账务需要严格核对,推荐缓存则可以重建,不必为两者选择相同的数据保护成本。
6. RTO
恢复时间目标(RTO)是业务恢复到约定水平所允许的时长。它从故障发生开始,包含发现、决策、资源准备、数据恢复、应用启动、验证和切流,不能只统计数据库加载备份的时间。
不同方案把工作留在故障前还是故障后,决定了恢复路径的长短:
| 方案 | 平时保留的能力 | 恢复时的主要工作 |
|---|---|---|
| 备份恢复 | 历史备份与部署材料 | 创建环境并恢复数据。 |
| Pilot light | 核心数据与少量组件 | 启动应用并扩容。 |
| 温备 | 可运行的缩小环境 | 扩容到接管规模。 |
| 热备或多站点运行 | 完整接管容量 | 切流并验证状态。 |
预置资源越多,持续成本越高。实际恢复耗时还受数据量、依赖和自动化程度影响,因此选择了“热备”或“温备”,仍需要通过演练验证是否达到目标。
7. 恢复顺序
恢复顺序应根据依赖关系确定。身份、网络和密钥需要先就绪,数据库、对象存储与消息系统才能继续恢复,随后再分批启用核心写入、查询和非核心任务。
每一步都要有可验证的完成条件。健康探针检查访问路径,数据核对检查业务状态,外部支付和回调也要验证,避免只恢复了内部组件却遗漏整条交易链路。
8. 恢复演练
演练应从指定备份恢复到空环境,验证重建业务所需的材料和步骤是否齐全。区域失效、密钥缺失、复制落后都可以作为演练场景。
每次记录实际恢复点和业务恢复耗时。数据规模或依赖变化后,需要重新测量,因为之前的结果未必仍然适用。完整演练方法见故障转移。
9. 常见问题
9.1 已经有实时副本,还需要历史备份吗?
需要。实时副本也可能收到误删或错误更新。此时所有副本都保留了同样的错误,仍要用历史备份或日志恢复到错误之前。
9.2 两台机器能应对地域故障吗?
取决于它们的位置和共享依赖。同地域、共用数据库的两台应用实例,只能覆盖部分实例故障;地域级灾难需要位于相应故障域之外的恢复资源,不能仅凭机器数量判断。
10. 面试题卡片
11. 参考资料
- AWS Well-Architected:Reliability Pillar
- AWS Well-Architected:Fail over to healthy resources
- NIST SP 800-34 Rev. 1:Contingency Planning Guide
- PostgreSQL 18:Continuous Archiving and PITR
- AWS:Disaster recovery options in the cloud
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明