Redis 持久化
Redis 持久化把恢复数据所需的快照或写操作记录保存到持久存储,主要方式是 RDB 和 AOF。恢复时能找回哪些写入,取决于有效备份与实际落盘进度。面试中需要区分快照、日志追加、同步和重写,也要解释为什么有副本或自动故障切换,仍不代表已确认写入一定不会丢失。本文以 Redis 6、7 为基线。
1. 面试核心
先记住这几条,再读正文- RDB 保存某一时刻的数据快照,AOF 记录恢复所需的写操作;复制和 Cluster 分别提供运行副本与数据分片。卡 · RDB
appendfsync everysec在正常调度下每秒同步 AOF,实际能恢复到哪里,仍取决于最近已持久化的位置。- Redis 7.0 起,AOF 用基础文件、增量文件和 manifest 清单组织恢复数据,重写期间的新写入进入增量文件。卡 · AOF 重写与混合格式
- Sentinel 达到
quorum才判定主节点客观下线,执行故障转移还需要多数 Sentinel 授权。卡 · 下线判定与切换授权 - Cluster 把键分配到 16384 个槽。
MOVED要求更新槽路由,ASK只临时转发本次请求。卡 · MOVED 与 ASK
2. RDB
RDB 是某一时刻数据集的快照。SAVE 在主线程同步生成快照,期间会阻塞请求;BGSAVE 则通过 fork 创建子进程,让子进程在后台保存。
只依靠 RDB 恢复时,最多能回到最后一份有效快照,快照之后的修改没有记录可以重放。它的文件紧凑,适合做时间点备份,也便于整库加载。
后台保存也有成本。创建子进程时会有 fork 停顿;之后父子进程先共享内存页,父进程继续修改数据时,需要复制将被修改的共享页,这就是写时复制。写入越密集、子进程运行越久,额外内存压力就可能越大。
3. AOF
AOF(Append Only File)保存恢复数据所需的写操作,设置 appendonly yes 后启用。写入文件不等于已经同步到磁盘,appendfsync 决定何时请求磁盘同步:
| 配置 | 同步方式与代价 |
|---|---|
always | 每次写入批次同步,确认延迟受磁盘同步影响。 |
everysec | 后台每秒同步,正常调度下约有一秒未同步窗口。 |
no | 由操作系统安排同步,丢失窗口取决于系统刷盘。 |
everysec 的「约一秒」建立在正常调度的条件下。磁盘阻塞或同步延期时,实际落盘进度可能更慢,所以不能把它理解为任何故障下最多只丢一秒数据。
AOF 重写是根据当前数据生成一份更短的恢复记录。例如一个计数器被递增了许多次,恢复当前值并不需要保留每次递增的过程。重写省去这些中间修改,但生成新文件期间仍要预留磁盘和内存空间。
4. AOF 重写与混合格式
AOF 重写期间仍要接收新写入,因此必须把生成基础数据和记录新增修改衔接起来。Redis 6 中,子进程生成新 AOF 文件,父进程继续写旧文件,同时保存重写期间的增量。等新文件补齐这些增量后,再替换旧文件。
Redis 7.0 起改用多文件 AOF:子进程生成基础文件,父进程把新写入放进新的增量文件。manifest 是记录这组文件的清单,重写完成后原子切换清单,恢复时就按它加载基础文件和增量文件。
Redis 6、7 默认启用 aof-use-rdb-preamble=yes,也就是混合格式:基础数据用 RDB 格式保存,后续增量仍用 AOF 命令记录。恢复时先加载基础数据,再重放增量。Redis 7 的 AOF 已经是一组文件,备份时要确保清单和它引用的文件相互匹配。
5. RDB 与 AOF 恢复顺序
同时启用 RDB 和 AOF 时,Redis 重启优先加载 AOF。两者不会自动拼成一份恢复结果,独立的 RDB 文件仍可用作时间点备份。
备份完成后,还要实际恢复并检查文件完整性和数据结果。备份应放在不会随运行实例一起损坏的位置。Redis 7.x 备份 AOF 目录时,要协调重写和清单切换,避免复制到一组彼此不匹配的文件。
6. 主从复制
主从复制让副本先取得数据集,再持续接收主节点的命令流。复制默认是异步的,主节点返回写入成功时,副本未必已经收到这次写入。如果此时主节点故障,落后的副本被提升,就会丢失尚未复制的部分。
断线恢复时,复制历史匹配且近期命令缓冲仍覆盖缺口,PSYNC 才能只补发缺失部分;否则需要全量同步。复制 ID、偏移量、backlog 和加载成本的完整机制见全量同步与部分重同步。复制用于运行中的接管,不能代替本篇的持久化与独立备份。
7. 复制确认与落盘确认
WAIT 等待本连接此前的写入被指定数量的副本确认,返回实际确认的副本数。如果超时时数量还没达到要求,只是停止等待,之前的写入不会自动撤销。副本收到数据,也不等于它已经把数据同步到磁盘。
Redis 7.2 起提供 WAITAOF,进一步等待本连接此前的写入在本地或副本完成 AOF 同步:
SET demo:order paid
WAITAOF 1 1 1000
这里先写入 demo:order,再要求本地和一个副本完成 AOF 同步,最多等待 1000 毫秒。相关节点要开启 AOF。返回的两个计数分别表示本地和副本的完成情况,客户端需要检查它们,不能只看命令有没有报错。
得到更多确认可以降低丢失风险,但故障后选哪个副本接管、哪些节点同时损坏,仍会影响结果。WAIT 和 WAITAOF 都不会自动把 Redis 变成强一致复制系统。
8. Sentinel
Sentinel 监控一组主从节点,并在主节点故障时协调切换,客户端通过它发现新主节点。它解决接管服务的问题,数据是否完整仍受异步复制进度影响。
下线判定达到 quorum 后,执行切换仍需多数 Sentinel 授权,并满足更高的 quorum 要求。客户端还要能发现新主地址。具体的主观/客观下线、执行者授权和副本选择见Sentinel。
9. Cluster 与哈希槽
Cluster 把键映射到 16384 个槽,再把槽分给多个主节点;每个主节点可有自己的副本。多键命令、事务和 Lua 的多键访问需满足同槽约束。槽计算、hash tag、热点边界及部署条件见Redis Cluster。分片扩展数据分布,并不替各节点自动选择持久化策略。
10. MOVED 与 ASK 重定向
MOVED 要求向当前负责节点重发并更新槽映射;ASK 只临时改变本次请求的目的地,在目标连接先发 ASKING,长期映射不变。命令示例及迁移中 TRYAGAIN 的条件见MOVED 与 ASK和槽迁移。
11. Cluster 与网络分区
Cluster 的异步复制仍可能在切换后丢失已确认写入;分区时也不能保证所有节点继续服务。cluster-require-full-coverage 控制缺失槽对服务范围的影响,不会让少数派无条件接受请求。故障时序、槽覆盖和客户端重试边界见故障与数据丢失,本地 AOF 的恢复点仍按实际落盘进度判断。
12. 恢复目标与配置
RPO 是允许丢失多少数据的目标,通常用时间表示;RTO 是允许服务恢复花多长时间的目标。比如允许回退到一分钟前的数据,与必须保住每次确认写入,对持久化和复制的要求就不同。选配置时还要考虑是否需要分片、是否读副本,以及哪些节点可能同时故障。
缓存可从数据库重建时,重点是重建容量和恢复速度。Redis 保存权威状态时,还需独立备份与结果核对。选定策略后,应演练进程、磁盘与主节点故障。
13. 常见问题
13.1 开启 AOF 后,已确认的写入就不会丢了吗?
仍然可能丢失。AOF 只能恢复实际持久化的记录;如果发生主从切换,还要看新主节点已经接收了多少数据。持久化文件也可能损坏,所以要按 RPO 规划独立备份,并通过恢复演练验证结果。
13.2 客户端拆分跨槽操作后,还能保证原子性吗?
不能。拆开后的请求分别执行,不能继续当作一次原子操作。需要在同一事务或脚本中访问多个键时,可以用 hash tag 让这些键落到同一槽,但也要接受负载会集中到同一节点的代价。
14. 面试题卡片
15. 参考资料
- Redis:Persistence
- Redis:Replication
- Redis:Scale with Redis Cluster
- Redis Cluster Specification
- Redis:WAITAOF
- Redis:WAIT
- Redis:Sentinel
- Redis 6.2:配置文件
- Redis 7.0:配置文件
- Redis 6.2.0:AOF 重写实现
- Redis 7.2.0:AOF 同步与延期实现
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明