跳到主要内容
约 9 分钟4 张卡

长事务

长事务是从开启到提交或回滚持续时间很长的事务。事务开着的这段时间里,它占着连接、持有的锁不释放、需要的旧版本数据也不能清理,所以事务越长,这些资源被占得越久,别的请求排队也越久。

长事务未必来自慢 SQL:事务里夹着远程调用、批量循环,或者忘了提交,同样会让它一直开着。和它相关的另一个问题是热点行:大量事务同时更新同一行,每个事务持锁的时间再短,也只能一个接一个执行。排查时要先确认事务开着到底占住了哪些资源,再考虑怎样把远程调用和批量工作移出长事务;如果单行竞争已经到了上限,还需要考虑怎样拆分。下文以 MySQL 8.0 InnoDB 为准。

1. 面试核心​

先记住这几条,再读正文
  • 长的写事务一直持有记录锁,长时间存活的 Read View 会让相关的 undo 历史无法清理。卡 · 事务持续时间与资源
  • RR 下只读事务也会保留旧快照,同样延长历史版本的存活时间。卡 · 事务持续时间与资源
  • 事务访问表时取得的元数据锁保留到事务结束,只执行过 SELECT 的事务也能挡住 ALTER TABLE。卡 · 元数据锁与 DDL
  • 分批处理时,本批数据修改和进度 checkpoint 要在同一个事务里提交,否则失败后会漏处理。卡 · 批量任务拆分
  • 同一热点行的并发写入只能依次取得记录锁、串行执行;条件 UPDATE 能减少往返,但突破不了单行的上限。

2. 事务持续时间与资源​

从应用的角度看,事务从开启一直持续到提交或回滚。但事务在 InnoDB 里实际占住了什么,取决于它已经执行过哪些 SQL:BEGIN 只是划出了事务的边界,执行第一条普通读时才建立快照,具体时机见 MVCC。

随着 SQL 的执行,事务占住的资源逐步增加:整个事务期间都占着一个连接;执行过更新后,还要持有记录锁和尚未提交的新版本;查询建立的 Read View 则要求数据库保留它能看到的旧版本。这些资源都要到事务结束才释放。

关键在于,事务时间不只是 SQL 的执行时间。两条 SQL 之间的计算、远程调用、等待用户输入,都算在事务里。所以每条 SQL 都很快,整个事务仍然可能持续好几秒甚至更久。

3. 长事务与 purge​

InnoDB 修改一行时,旧版本保存在 undo 日志里,供还没看到新版本的事务读取。后台的 purge 线程负责清理不再被任何事务需要的旧版本。只要还有一个活跃的 Read View 可能需要某个旧版本,purge 就不能清理它。

所以一个长时间存活的快照,会让它建立之后所有修改产生的历史版本都留下来。并发写入不停地产生新版本,undo 占用就不断增长;同一行的版本链也越来越长,读旧版本的查询要沿着链往回找,速度跟着变慢。

长的写事务还会持有记录锁,让冲突的更新排队。排队的请求都占着连接不放,压力会一直传到应用的连接池,最后表现为整个服务获取连接超时。

事务的大小也有成本。一个修改了大量行的大事务,提交时会产生很大的日志和复制工作单元,从库要整块应用;回滚时要把已经做完的修改逐一撤销,同样会耗费很长时间。

4. 元数据锁与 DDL​

元数据锁(metadata lock,MDL)保护的是表结构:事务使用一张表时取得它,防止别人在使用过程中修改表结构。即使只是查询,事务也会取得这张表的 MDL,并且一直保留到事务结束。因此一个只执行过 SELECT 的事务,也能挡住 ALTER TABLE:

-- 会话 A
START TRANSACTION;
SELECT * FROM orders WHERE id = 1;
-- 保持事务打开。

-- 会话 B
SET SESSION lock_wait_timeout = 1;
ALTER TABLE orders ADD COLUMN audit_note VARCHAR(20);

在有 orders 表的练习库执行时,A 的 SELECT 早已返回,但事务还开着,MDL 也还在。B 的 ALTER TABLE 需要与之冲突的 MDL,只能等待,超过一秒后报锁等待超时。A 执行 ROLLBACK 后,锁才释放。

线上更麻烦的是,等待中的 ALTER TABLE 会排在后续请求前面,之后访问这张表的普通查询也会排在它后面等待,一个忘了提交的事务就可能让整张表不可用。

MDL 要通过 performance_schema.metadata_locks 查看,它和行锁的 data_locks 是两套证据,要分开观察。处理时注意,KILL QUERY 只终止正在执行的语句,事务本身还开着,MDL 也不会释放;对于这种已经空闲的事务,要找到它所在的会话,并检查应用里为什么没有走到提交或回滚。

5. 事务中的远程调用​

最常见的长事务,是在事务里调用了远程服务。下面的流程把网络延迟都算进了持锁时间:

开启事务 → 更新订单 → 调用支付服务 → 写流水 → 提交

支付服务慢一秒,订单行上的锁就多持有一秒。更严重的是一致性问题:支付成功之后,数据库仍然可能提交失败,而本地回滚撤销不了已经完成的支付,结果是钱扣了、订单却没变。

改法是把远程调用移出事务。先用一个短事务把订单改成「待支付」,同时写入一条待发送的支付事件,然后立即提交。任务处理器读取这条事件,再去调用支付接口,拿到结果后通过幂等的状态转换写回数据库,比如只有状态还是「待支付」时才改成「已支付」。事件可能被重复投递,所以调用支付时带上稳定的业务请求 ID,由支付方去重。

6. 批量任务拆分​

数据回填和清理这类批量任务,如果放在一个大事务里,会同时踩中前面所有的问题。正确的做法是按稳定的游标拆成很多小事务,每批独立提交,并把处理到哪里(checkpoint)持久化下来,失败后从这里继续。每批多大要按单批耗时、日志量和锁等待来校准:

SELECT id FROM orders WHERE id > ? ORDER BY id LIMIT ?;

游标用的是上一批最后一个 id,而不是 OFFSET。数据集在处理过程中不断变化,用 OFFSET 时前面删掉一行,后面的位置就整体移动,会漏掉记录;而且 OFFSET 越大跳过的成本越高。按主键往后取则没有这两个问题。

本批的数据修改和 checkpoint 要放在同一个数据库事务里提交。如果先提交进度、再提交数据,中间失败时进度已经越过了这一批,数据却没改,这一批就漏掉了。反过来,如果两者分开提交,恢复时就会把一部分已经处理过的数据重放一遍,所以更新语句本身还要幂等,执行两次和执行一次结果相同。

任务启动时还要约定处理的截止范围,否则新数据不停写入,任务永远跑不完。按递增主键回填时,可以记录启动时的最大主键作为本轮上界,之后新增的记录留给下一轮。有一个边界要注意:主键较小的记录可能分配得早、提交得晚,扫描经过时它还没提交,所以不可见,这类记录需要后续补扫。

7. 热点行​

热点行是被大量事务同时更新的同一行,比如秒杀商品的库存、平台账户的余额、全局计数器。每个事务都要先取得这一行的记录锁,所以这些写入只能一个接一个执行。一行能承受的吞吐,基本由每个事务从加锁到提交的时间决定,缩短这段时间才能缩短排队。

第一步是把「先查再改」合成一条语句:

UPDATE inventory SET available = available - 1
WHERE sku_id = ? AND available > 0;

应用根据影响的行数判断结果:1 行表示扣减成功,0 行表示库存不足。条件检查和扣减在一条语句里完成,不用先 SELECT ... FOR UPDATE 再 UPDATE,少了一次客户端往返,持锁时间也就短了。但并发写入仍然由这一行的记录锁排队,单行的上限没有变。

8. 热点拆分​

单行的吞吐到上限后,就要把竞争拆开。拆分有几种方式,前提是都不能破坏业务的不变量,比如库存不能超卖、余额不能为负:

  • 分片计数把可合并的统计量写入多个子行。
  • 按商品、账户或租户分区,让不同键独立处理。
  • 串行消费者控制同一键的排队长度与执行顺序。
  • 额度预分配将总资源分给多个执行单元。
  • 低冲突更新可用版本号比较,并限制重试次数。

每种方式都有代价:分片计数读取时要把各子行加起来;额度预分配要设计没用完的额度怎样回收;串行消费者把同步扣减变成了异步。库存和余额这类场景,还要明确能否短暂超额,以及故障时怎样恢复和核对。

9. 监控​

诊断长事务和热点问题时,要同时看事务活了多久,以及它造成了哪些资源积压:

  • 用 information_schema.innodb_trx 查看事务起始时间。
  • 用 data_lock_waits 还原当前锁等待链。
  • 观察 undo 空间、purge 进度和 history list length。
  • 观察连接池 active、pending 和获取超时。
  • 按业务键统计冲突,记录批任务耗时与进度。

其中 history list length 是等待 purge 清理的 undo 日志数量,它持续上涨通常说明有长时间存活的快照。注意它的单位既不是修改的行数,也不是字节数,不能直接换算。

发现长事务后,先找到它完整的调用链和已经修改的数据量,再决定怎样处理。直接终止一个大事务会触发回滚,回滚要撤销所有已做的修改,可能持续很久,在它完成之前被挡住的请求仍然等着。

10. 常见问题​

10.1 只读事务的资源影响​

不是。只读事务不持有记录锁,但在 RR 下它建立的快照会一直保留到事务结束,期间相关的旧版本都不能被 purge 清理。它还占着一个连接,并持有访问过的表的元数据锁,会挡住这些表上的 DDL。

10.2 Redis 热点更新的边界​

11. 面试题卡片​

12. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明