跳到主要内容

分布式任务调度

分布式任务调度按计划创建任务,再由多个执行器分担工作,并在节点失败后恢复未完成的部分。难点不只是「到点执行」,还包括怎样识别同一次任务、哪些数据已经处理,以及旧执行器恢复后会不会覆盖新结果。

设计这类系统,要把触发与执行分开看:调度可能重复或遗漏,执行可能中断或被接管。稳定的任务记录、分片进度和业务幂等约束,决定了恢复时能否继续,而不漏做或多做。

1. 面试核心​

先记住这几条,再读正文
  • 任务名和计划时间组成稳定的任务实例 ID,重复触发时读取同一条记录。卡 · 综合题
  • 执行器通过原子领取获得分片租约,租约失效后允许其他执行器接管。
  • 租约过期不代表旧执行器已经停止。fencing token 必须由资源写入端校验,才能拒绝过期执行器的写入。卡 · 租约与所有者
  • 检查点只推进已经可靠完成的范围,它与业务结果要原子提交,或由幂等机制保护恢复后的重复执行。
  • startingDeadlineSeconds 限制迟到启动的窗口,activeDeadlineSeconds 限制 Job 的运行时间,两者不能互相替代。卡 · 重试与补跑

2. 调度时间与执行时间​

计划时间决定这次任务属于哪一期,实际执行时间则取决于排队和恢复情况。例如零点的结算任务因为执行器繁忙,到零点十分才开始,处理的仍然是原定零点那一期。

调度器负责按计划创建实例,执行器稍后领取并运行。Kubernetes CronJob 也是近似调度,控制器故障等情况可能造成重复创建或漏调。因此业务要能接受同一计划被重复执行,也要能找出缺失的计划实例。

3. 任务实例 ID​

任务实例是某个计划时间对应的一次逻辑执行。任务名与计划时间共同形成它的稳定 ID,例如:

daily-settlement:2026-08-30T00:00:00+08:00

这个 ID 始终表示同一期结算,不随重试时间改变。数据库对实例 ID 建唯一约束,重复触发时读取已有状态,再决定等待、继续执行还是返回结果。

唯一约束只防止重复创建实例,不能保证业务只执行一次。执行中断后还会重试,所以实例记录要保存计划时间、状态、尝试次数和执行者;租约、分片进度、错误与结果也要能在重启后读到,业务写入则需要独立的幂等约束。

4. 重叠执行策略​

上一期还没结束、下一期已经到点时,要先决定是否允许两期同时运行。Kubernetes CronJob 用 concurrencyPolicy 表达这个选择:

concurrencyPolicyKubernetes CronJob 行为
Allow允许同一 CronJob 的多个 Job 并发
Forbid前一 Job 未完成时,本次触发不创建新的 Job
Replace用新 Job 替换仍在运行的旧 Job

这些策略只协调同一个 CronJob 创建的 Job。其他 CronJob 或手工任务可能处理同一批业务数据,仍然需要业务级协调。Replace 取消旧任务,也无法撤销它已经提交到数据库或外部系统的结果。

5. 分片​

分片把一次大任务拆成可以分别领取和恢复的小任务。可以按租户、日期、主键区间或稳定哈希划分,每个 shard 保存独立状态,多个执行器并行处理,失败后只恢复未完成的部分。

划分时要保证全部输入都有归属,又不会把同一份输入意外分给多个分片。数量相同也不代表耗时相同:某些记录处理成本高,仍会形成热点。因此要根据实际耗时调整粒度,必要时继续拆分热点分片。

一次任务还要固定输入边界。对单调递增主键,可以在开始时记录本轮上界 max_id,再按主键游标推进。这样并发新增的数据留给下一轮,不会让当前扫描范围一直增长。但固定上界只限定本轮有哪些 ID;如果还要求读取同一时刻的数据状态,就需要数据库快照或版本边界。

6. 租约与所有者​

租约是有有效期的任务所有权。执行器领取分片时,在共享存储中原子地设置 owner 和租约截止时间,避免多个执行器同时领取成功。时间判断应采用一致的存储端时钟,续租也要检查 owner 与版本,防止旧执行器续上已经不属于自己的租约。

租约过期后,新执行器可以接管,但旧执行器不一定已经停止。它可能只是长时间暂停,恢复后继续发送写入。即使写之前在客户端检查过租约,也可能在检查后暂停、过期,再恢复写入,因此单靠这一步有竞争窗口。

fencing token 是随接管递增的所有权版本,用来让资源端识别过期执行器。每次接管分配新 token,并让资源端记录新版本;写入请求携带 token,由资源端原子校验,旧 token 的请求就不能覆盖新结果。

6.1 过期执行器隔离​

隔离旧执行器,关键是让接收写入的一方拒绝旧版本。假设 A 持有 token=7,暂停后租约过期;B 接管并在资源端安装 token=8。A 恢复后仍携带 7,资源端发现版本落后,就拒绝它的写入。

如果租约和业务结果都在同一数据库,可以在事务中锁定任务行,检查 owner、token 与有效期,再写业务结果和检查点。检查和写入一起受事务保护,其他执行器就不能在这两步之间完成接管。

外部存储也必须自己原子验证 token。如果它只比较已经见过的最大版本,新 token 就要先到达该存储,才能挡住旧版本请求。仅给请求增加一个字段、下游却不检查,没有隔离作用。外部 API 不支持这种协议时,还要依靠幂等和结果核对恢复业务,不能宣称已经隔离了旧写入。

7. 检查点​

检查点记录最后可靠完成的主键或游标,让任务中断后知道从哪里继续。能放在同一数据库时,业务结果和检查点应在同一事务中提交,避免进度已经前移、结果却没保存。跨系统操作则需要稳定请求 ID 和结果查询,恢复时才能判断是否已经执行过。

并行批次只能按连续完成范围推进检查点。例如批次 1 和 3 已完成、批次 2 尚未完成,检查点只能推进到批次 1。若直接记录到批次 3,恢复时就会漏掉批次 2。

扫描方式也影响恢复。offset 分页按位置跳过记录,数据增删后位置可能变化;按稳定键继续扫描,更容易从已完成的位置恢复。

8. 重试与补跑​

重试是继续执行同一个任务实例,并增加尝试次数;补跑是创建或恢复错过计划对应的实例。两者都应沿用原计划标识,但要按业务决定补哪些期:账单可以逐期补齐,快照任务可能只需要最新一期。

Kubernetes 的几个限制控制的是不同阶段:

  • CronJob 的 startingDeadlineSeconds 限制计划允许迟到多久,超过窗口就跳过该计划。
  • Job 的 activeDeadlineSeconds 限制运行时长,超时会终止相关 Pod,并让 Job 失败。
  • Job 的 backoffLimit 限制失败重试次数。

运行时限优先于剩余重试次数。即使次数没用完,到达 activeDeadlineSeconds 后也不会继续重试。Job 失败后,要根据持久化的业务实例状态决定是否重新创建执行任务,以及从哪个检查点继续。

8.1 时区与计划标识​

计划时间要能唯一确定一个时间点,不能只保存没有时区的本地时间。Kubernetes CronJob 可以用 .spec.timeZone 指定时区,例如 Etc/UTC;保存计划时,再转成明确的 UTC 时间点或携带偏移。

采用夏令时的地区可能出现重复或不存在的本地时间。因此业务要定义按自然日还是绝对时间结算,实例 ID 仍使用对应的计划时间,不能改用重试开始时间,否则同一期重试会变成新实例。

9. 监控​

监控要能发现漏调和未完成的实例,不能只显示最近一次成功。先比较预期实例与实际记录,再分别观察调度延迟、排队时间和执行耗时,才能判断是没触发、没人领取,还是处理太慢。

每个分片还应记录进度、接管次数和最老未完成时间。重试、幂等命中与最终业务数量要能够核对:今天的任务成功,并不能证明昨天失败的那一期已经补齐。

10. 常见问题​

10.1 加分布式锁就能保证任务只产生一次结果吗?​

不能。锁协调的是并发领取,业务结果仍要靠持久化约束保证幂等。执行器可能在提交结果后、记录完成前崩溃,重试时就必须读取原实例状态,并核对哪些工作已经完成。

10.2 Cron 表达式在哪个时区执行?​

11. 面试题卡片​

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明