迭代一致性
迭代一致性说的是:遍历和更新同时发生时,遍历的一方能看到哪些元素、哪些状态。并发集合不会像 ArrayList 那样抛出 ConcurrentModificationException,但「不报错」不等于「看到的是某一刻的完整状态」。ConcurrentHashMap 的遍历和聚合结果可能混合多个时刻的状态,CopyOnWriteArrayList 只固定了元素引用。真正需要一致快照时,要在集合之外再加一层协调。判断一段代码够不够用,先问业务到底需要哪种程度的一致。下文采用 Java 21 API。
1. 面试核心
先记住这几条,再读正文- ConcurrentHashMap 的迭代器是弱一致的:遍历可以和更新同时进行,能看到其中一部分更新。卡 · 并发遍历的视图需求
- CopyOnWriteArrayList 的迭代器固定创建时的引用数组,之后的增删和这次遍历互不影响。
- 并发更新期间,ConcurrentHashMap 的
size、forEach、reduce等结果可能混合多个时刻的状态。 - 所有访问都遵守同一把锁时,在锁内复制才能得到一致的结构快照。卡 · 并发 Map 的复制边界
remove(key, value)按值相等作为删除条件;用不可变值并让版本号参与equals,才能识别值已被替换成新版本。卡 · 遍历中的条件删除
2. 并发遍历的视图需求
选并发集合之前,先确定业务需要看到什么样的状态。下面四类视图需求对同步的要求一级比一级高:
- 允许近似观察:监控、日志和后台统计,漏掉刚写入的元素也没关系。
- 固定结构快照:比如一次广播只处理开始时已经注册的监听器。
- 线性一致快照:结果必须对应某个明确的瞬间。
- 跨多个数据结构一致:集合、计数和外部状态必须属于同一个版本。
本文讨论的并发容器直接提供的只有前两类。后两类要求把相关的更新作为一个整体来协调,可以用共同的锁、不可变版本或数据库事务;也可以让一个写线程统一处理所有更新和快照请求,这样每次读取都对应一次完整更新之后的状态。
3. ConcurrentHashMap 的弱一致遍历
ConcurrentHashMap 允许一边扫描一边更新,适合持续变化的共享映射。下面遍历会话时,其他线程仍然可以新增或删除会话:
for (Map.Entry<String, Session> entry : sessions.entrySet()) {
inspect(entry);
}
这种遍历叫弱一致遍历:迭代器沿着内部节点往前走,能看到一部分并发更新,但发生在它已经走过的位置上的变化就看不到了。它不复制整个 Map,也不把写线程都锁住。并发修改是它支持的正常用法,所以不会抛出 ConcurrentModificationException。
它适合允许近似观察的业务,例如:
- 监控指标只需要反映当前趋势,少量并发变化带来的误差可以接受。
- 后台清理先扫描出候选,再用条件原子方法确认是否仍该删除(见第 9 节)。
- 管理页面展示非事务的列表,条目来自不同的读取时刻也无妨。
要注意,两次观察之间没有一致性可言。比如遍历算出的总和,和紧接着调用 size 得到的数量,是两次独立的观察,中间的并发更新就能让它们对不上。拿这两个数互相校验,会误判业务状态。
4. CopyOnWrite 的数组快照
CopyOnWriteArrayList 适合「一次遍历只处理开始时已有的元素」的场景,比如向当时已注册的监听器广播。它的迭代器固定在创建时的引用数组上,中途新增或删除的元素不会影响这次遍历。但数组里的元素对象仍然是共享的,元素的可变字段需要另外同步。
这种快照把复制成本放到了写入时:每次修改都复制整个数组,长时间持有的迭代器还会让旧数组一直留在内存里。所以列表很大或更新很频繁时代价很高,机制见 CopyOnWrite 容器。
5. 并发队列的迭代
对并发队列来说,遍历是「看一看」,不是「领走」。ConcurrentLinkedQueue 的迭代器也是弱一致的,下面的循环只观察元素,任务仍然留在队列里:
for (Job job : queue) {
observe(job); // 不会把 job 从队列移除
}
多个消费者应该用原子的 poll 领取任务,BlockingQueue 还可以用 take 等待并领取。如果先遍历找到元素、再把它删掉,两步之间其他消费者可能已经把它领走了。
PriorityBlockingQueue 和 DelayQueue 的遍历顺序也没有保证,看到的顺序可能和实际出队的顺序不同。
6. 聚合操作的一致性
统计整个 Map 时,每个值单独读出来都是有效的,但它们合在一起不一定属于同一时刻。ConcurrentHashMap 提供 forEach、search、reduce 等批量操作,还支持并行执行;它们可以在更新期间运行,结果组合的是不同时间读到的值:
long total = counters.reduceValuesToLong(
1_000,
LongAdder::sum,
0L,
Long::sum
);
这段代码把每个 LongAdder 的当前值相加,适合做近似统计。LongAdder 是把并发计数分散到多个单元、以减少竞争的累加器,它的 sum 在并发更新时本身也只是一次观察。第一个参数 1_000 是并行阈值:元素数量估计超过它时才尝试并行执行。
mappingCount、size 和 isEmpty 同样只代表调用那一刻的观察。比如「数量没到上限就插入」,其他线程可以在检查和插入之间也插进来,最后超出上限。严格的容量限制要求检查和修改在同一个协议里完成,例如在同一把锁里同时维护集合和容量,或者直接使用有界队列。
如果用一个独立的计数器来限制容量,还要处理预占名额、插入失败时归还名额、删除后释放名额。只让计数器原子递增,仍然保证不了集合的容量上限。
7. 并发 Map 的复制边界
把 ConcurrentHashMap 复制成 HashMap,得到的是一个结构独立的副本,但它不一定是某一时刻的快照。new HashMap<>(concurrentMap) 是逐项读取源 Map 的,如果复制期间有并发写入,副本就会混合多个时刻的状态。「结构独立」只说明复制完成之后,两边的增删互不影响。
要固定一次导出时的状态,可以让所有更新和复制都遵守同一把锁;也可以改为发布一个完整的不可变 Map,读者读一次引用就拿到一个完整版本。这些做法在下一节展开。
8. 一致快照协议
业务要求读到同一版本的完整状态时,集合自己给不了,需要在集合之外协调读取和更新。下面几种方式分别适合共享可变状态、不可变配置和跨进程数据。
8.1 外部锁
所有读写都遵守同一把锁时,在锁内复制就能得到一致快照:
synchronized (stateLock) {
return Map.copyOf(mutableState);
}
关键是所有读写入口都要先获取 stateLock,这样复制期间才不会有其他线程修改 mutableState。ConcurrentHashMap 的方法使用的是它内部的同步机制,不会去拿你的 stateLock,所以用外部锁时必须把访问入口统一封装起来,不能让别处直接调用 Map 的方法。
Map.copyOf 要求键和值都不为 null,它固定的是映射结构,值对象仍然和原 Map 共享。要保存完整的状态快照,键和值本身也要不可变。
8.2 不可变状态与原子替换
读多写少、状态大小可控的配置,适合每次发布一个完整的新版本。写者基于旧状态构造一个新的不可变状态,再原子地替换引用:
AtomicReference<State> state = new AtomicReference<>(State.empty());
读者只读一次 state.get(),之后访问的多个字段都来自同一个对象,自然属于同一个版本。多个写者可能同时基于旧值更新,这时要用 CAS(比较并交换)检测冲突:只有引用仍是预期的旧值时才替换,否则重新计算,避免覆盖别的写者刚写入的结果。
8.3 版本号与重试
版本校验的思路是:读者读取前后各看一次版本号,发现期间有写入就重新读。它必须和完整的写入、可见性协议配合。如果写者只在写完后才递增版本号,读者就可能在写到一半时读取,前后看到的版本号一样,却读到了一半新一半旧的状态。
自己设计版本协议还要处理版本号回绕,也就是计数达到上限后又回到用过的旧值;写入频繁时,读者还可能一直校验失败、迟迟读不完。Java 里可以直接用 StampedLock 的乐观读,校验失败后再改用读锁。
乐观读适合「先读几个字段再校验」的场景。遍历一个可变集合时,复制过程本身就需要安全保证,这种情况直接在锁内复制更清楚。
8.4 数据库或事件日志
涉及持久化或跨进程的数据时,应该让存储系统来确定读取的版本。数据库可以用事务隔离提供一致读取,事件日志可以按一个确定的偏移量构造快照。这样得到的结果对应「处理到某个位置时的完整状态」,进程内的集合只负责保存本地的结果。
9. 遍历中的条件删除
弱一致遍历扫描到的结果,在使用时可能已经过期:扫描时判断某个会话过期了,另一个线程却可能在删除之前刷新了它。所以后台清理要把扫描结果当作候选,删除时再用条件删除确认一次:
sessions.forEach((id, session) -> {
if (session.expired(clock.instant())) {
sessions.remove(id, session);
}
});
remove(id, session) 是一个原子的「比较并删除」:只有当前值和扫描时看到的 session 按 equals 相等时才删除。注意比较的是相等关系,不是版本。如果刷新时换了一个对象、但新旧对象 equals 相等,删除照样成功;如果刷新是原地修改同一个对象,当前值和观察值还是同一个对象,同样检测不出变化。
解决办法是把会话定义成不可变值,并让版本号参与 equals。每次刷新都替换成一个新版本的对象,旧的扫描结果和当前值就不再相等,条件删除会失败,新版本得以保留。
如果清理还要释放数据库租约、文件或远程资源,Map 里的删除只是其中一步。外部操作需要幂等,也就是重复执行的结果和执行一次相同;部分步骤失败时还要重试或补偿,让各项资源回到一致的状态。
10. 常见问题
10.1 弱一致遍历的观察范围
一次弱一致遍历可能漏掉期间发生的变化。迭代器沿节点往前走,已经经过的位置发生了更新,它不会回头重新扫描。之后发起的新读取,会按容器的可见性约定看到已经完成的更新。如果业务需要追踪全部变化,应该用事件日志或版本协议,而不是靠遍历。
10.2 toArray 的复制结果
ConcurrentHashMap 集合视图的 toArray 会把遍历结果复制到一个独立的数组里,之后可以单独遍历。但复制期间源 Map 如果还在变化,数组内容同样可能混合多个时刻的状态,不能据此断定调用开始或结束时的完整内容。要得到严格的快照,复制和所有写入需要遵守同一个同步协议。
10.3 并发迭代与修改检测
两者面对的是不同的使用约定。并发集合把「遍历时有更新」当作正常情况,所以用弱一致或快照的语义来规定能看到什么。fail-fast 面对的是普通集合,遍历时出现结构修改被视为错误,于是尽快抛出异常。modCount 只用来发现这种错误,并不能固定一份一致的快照。
普通集合的修改检测见集合迭代器。
10.4 结构快照与元素字段
结构快照固定的是元素引用,元素的字段仍然存在原来的对象里。其他线程修改这些对象,遍历时也会看到变化。如果只要求字段被安全地读写,可以依靠元素自己的同步;如果要求完整的状态快照,就需要元素不可变,或者在同步保护下把字段也复制出来。
11. 面试题卡片
12. 参考资料
- Java API:ConcurrentHashMap
- Java API:CopyOnWriteArrayList
- Java API:ConcurrentLinkedQueue
- Java API:BlockingQueue
- Java 21:StampedLock
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明