Elasticsearch
Elasticsearch 是用倒排索引支持全文检索和过滤的搜索引擎。写入成功后,数据不一定立刻能被搜索到;能被搜索到,也不等于已经完成持久化。理解这两个区别,才能解释搜索延迟、故障恢复,以及搜索索引怎样跟上业务数据库的变化。
本文以自管 Elasticsearch 8.19 为准。面试中,除了说明字段怎样被检索,还需要解释写入何时对搜索可见,以及数据遗漏或乱序时怎样恢复索引。
1. 面试核心
先记住这几条,再读正文- 倒排索引按词项查找文档,doc values 则按文档读取字段值,适合排序和聚合。卡 · 倒排索引
- 写入经过 refresh 才进入搜索视图;按 ID 的实时 GET 可以读取尚未 refresh 的文档。卡 · 综合题
refresh=wait_for等待本次写入可搜索,refresh=true则主动刷新相关分片。- refresh 不保证安全落盘。flush 执行 Lucene commit,尚未 commit 的操作依靠持久化的 translog 恢复。卡 · refresh、flush 与 merge
- 深分页可以用 PIT 固定搜索视图,再用
search_after继续读取,避免每页都保留前面所有候选结果。卡 · 深分页
2. 倒排索引
倒排索引保存词项到文档的映射,用来回答「哪些文档包含这个词」。词项(term)是文本分析后存入索引的检索单位;每个词项对应的倒排列表(posting list)记录包含它的文档及检索信息。全文查询先找到词项,再组合对应的文档集合并计算评分。
例如,分析后得到的词项 java 出现在文档 1 和 3 中,它对应的列表就能帮助查询直接找到这两篇文档。查询不必逐篇读取正文,再检查有没有这个词。
排序和聚合需要另一种读取方向:已知文档,取出它的价格、日期等字段值。doc values 是按文档组织字段值的存储结构,适合这类操作。按文档 ID 读取原始内容 _source 也有自己的读取路径,不能把这些操作都理解为查倒排索引。
3. analyzer
analyzer(分析器)把输入文本转换成词项,决定文本以什么形式进入倒排索引。它包含一个负责切分文本的 tokenizer,还可以包含预处理字符的字符过滤器,以及继续处理词项的 token filter。
字段映射(mapping)中的类型决定了是否进行全文分析:
| 字段 | 适用操作 |
|---|---|
text | 对文本进行分析,配合 match 等查询做全文检索 |
keyword | 把字段作为精确值,用于过滤、聚合和排序 |
查询方式也要与索引中的词项对应。match 会分析查询文本,term 则直接匹配索引里已有的词项。因此,对 text 字段使用 term 时,传入原文未必能匹配,输入必须与分析后存下来的词项一致。索引和搜索使用的 analyzer 也应产生可匹配的词项。
keyword 默认支持 doc values,text 默认没有。比如标题同时定义了 title 和 title.keyword,全文检索用前者,精确统计用后者。需要对文本字段做聚合时,优先考虑这样的 keyword 子字段;为 text 开启 fielddata 会增加堆内存成本。
4. 写入结果与搜索可见性
写入成功与搜索可见是两个时刻。写入先改变底层 Lucene 的索引结构,并记录用于恢复的 translog;refresh 再打开新的搜索视图,让近期变化可以被 search 读到。这就是近实时搜索:搜索结果会跟上写入,但中间有一个等待窗口。
按 ID 的 GET 默认是实时读取,走的是另一条路径。因此,同一篇文档可能已经能用 GET 读到,却还没有出现在搜索结果里。
自管 Elasticsearch 8.19 的默认 refresh 周期是 1 秒,默认周期刷新只针对最近 30 秒内被搜索过的索引。负载和配置会影响实际等待时间,1 秒并不是延迟上限。Elastic Cloud Serverless 的默认 refresh 间隔则是 5 秒。
如果调用方需要等到本次写入可搜索,可以使用 refresh=wait_for。它等待变化可见后再返回;refresh=true 则主动刷新相关分片。主动刷新越频繁,越容易产生许多小的 segment,也就是 Lucene 保存索引数据的段,后续合并这些段也要花费资源。
5. refresh、flush 与 merge
refresh 解决搜索可见性,flush 解决 Lucene 提交,merge 则整理索引段。三者不能互相替代:
| 操作 | 作用 |
|---|---|
refresh | 更新可搜索视图 |
flush | 执行 Lucene commit,并开启新一代 translog |
merge | 合并 segment,并回收已删除文档占用的空间 |
translog 是记录写入操作的恢复日志。Lucene commit 会持久化索引变化,但不需要每次写入都执行;尚未包含在 commit 中的操作,可以在故障后从 translog 恢复。
Elasticsearch 8.19 默认使用 index.translog.durability=request。返回成功之前,主分片和已分配副本完成 translog 同步。因此,判断一次成功写入能否恢复,要看日志的持久化设置,不能只问它有没有 refresh 或 flush。
改成 async 后,translog 按 index.translog.sync_interval 周期刷盘,默认是 5 秒。如果同步前崩溃,上次同步之后的操作可能丢失,其中也包括已经响应成功的写入。flush 完成后,不再承担恢复用途的旧 translog 可以在后续清理。
6. 分片
分片是索引拆分后的存储和执行单元。文档根据 routing 映射到主分片,没有指定时默认使用文档 ID。主分片处理写入,再把操作复制到副本。
搜索时,每个相关分片选取一份可用的分片拷贝执行,协调节点汇总候选结果,再读取需要返回的文档。一次请求涉及的分片越多,协调和资源开销也越大。
自定义 routing 可以把相关文档放到一起,减少查询涉及的分片,但写入和读取必须采用相同的路由规则。代价是某个路由值对应的数据或流量过多时,负载会集中到单个分片。
6.1 分片上的 Top K
按确定的文档排序取前 K 条时,可以先由各分片保留自己的前 K 条候选,再由协调节点合并、选出全局前 K 条,最后取得这些文档的内容。这样不必把全部匹配文档都传到协调节点。若有 S 个相关分片,候选规模通常要按 S × K 考虑;from + size 分页则需要考虑 S ×(from + size)。
这个做法依赖所有候选采用可比较的排序规则,并处理并列值。可以这样推导:一个文档在自己的分片里已经排在 K 条文档之后,就不可能进入同一排序下的全局前 K。分片内怎样保留候选,可结合堆理解;实际引擎还会利用索引信息跳过不可能进入结果的候选,并不总是扫描全部匹配项。
不要把这条推导直接套到「按全局词频选 Top K」。同一个词可能分散在多个分片,需要先合并计数;只取每片的局部高频词,可能漏掉全局高频词。按相关性评分时,也要区分分片局部词频与全局统计的差别,不能把合并候选等同于所有评分条件完全相同。
6.2 查询速度的排查顺序
搜索慢时,先确认耗时来自候选查找、评分排序、聚合、文档读取还是跨分片协调。倒排索引减少全文扫描,精确过滤和合适的字段类型缩小候选,doc values 支持字段排序;这些优化各自针对不同环节。
再检查是否查询了过多字段、扇出到过多分片,是否存在深分页、复杂脚本或大规模关联。热点索引能否留在文件系统缓存里,也会影响磁盘读取成本。自定义路由、调整分片或反规范化文档都可能改善特定负载,但会增加热点或更新成本,需用真实查询的延迟、吞吐和资源占用验证。
7. 深分页
from + size 的页码越深,各分片需要保留的候选结果越多,内存和排序开销也越高。例如跳过前 9000 条再取 10 条,各分片仍需考虑前面的候选结果。Elasticsearch 8.19 的 index.max_result_window 默认是 10000,用来限制这类结果窗口。
search_after 是按上一页最后一条结果的排序值继续查询的方式。它适合顺序翻页,要求查询条件和排序保持一致,并用稳定的字段区分排序值相同的文档。
只有排序稳定还不够,两次翻页之间的 refresh 也可能改变结果。PIT(Point in Time)用来固定搜索视图,让后续页面继续基于同一个视图读取。PIT 搜索隐含使用 _shard_doc 作为并列排序字段;客户端需要续期、使用返回的最新 PIT ID,并在完成后关闭 PIT。
search_after 与 PIT 配合,分别解决从哪里继续、按哪个视图继续的问题。它们适合逐页读取,随机跳到某一页需要另外设计。
8. 与数据库同步
数据库和搜索索引分别提交,直接双写可能只成功一边。例如数据库已经更新,进程却在更新索引前崩溃,搜索结果就会落后。同步流程必须能找到并重试这次未完成的变更。
Outbox 把待发布事件与业务变化保存在同一本地事务里,后台再根据事件更新索引;CDC(Change Data Capture)则捕获数据库变更,用这些变更驱动同步。两种方式都要让事件携带稳定的文档 ID 和业务版本,便于失败后恢复。
固定文档 ID 可以避免重试时重复插入文档,但挡不住旧事件覆盖新状态。索引写入还要校验业务版本,具体规则见消息幂等性。
9. 对账与重建
对账通过比较业务数据库和索引的版本、数量及关键字段,发现遗漏或错误。搜索索引应能根据权威数据重建,而不是只能依赖现有索引继续修补。
alias(索引别名)是查询方用来引用索引的名称,可以在迁移时切换它指向的索引。重建时,先创建新索引并导入快照,再追赶快照之后的增量。核对完成后,通过一次 alias 更新切换读取目标,查询方继续使用同一个别名。
mapping 中的字段类型需要变更时,也可以这样迁移。保留旧索引不等于可以直接回退:如果旧索引已经停止同步,切回后读到的就是旧状态。因此回退前也要核对增量进度。
10. 常见问题
10.1 写入已经成功,为什么搜索不到?
先区分「还没进入搜索视图」和「查询目标或条件不对」。比较按 ID 的实时 GET 与 search:GET 可见而搜索缺失时,检查 refresh 和查询条件;两者都缺失时,再查目标索引、routing 和具体写入结果。
10.2 搜索索引能作为业务状态的唯一依据吗?
在本文的数据库同步方案中,业务数据库保存权威状态,搜索索引只是供查询使用的可重建副本。判断关键业务结果时,应以权威状态为准,同时监控同步延迟并定期对账,避免把落后的搜索结果误当成当前业务状态。
11. 面试题卡片
12. 参考资料
- Elasticsearch:Index and search analysis
- Elasticsearch:Near real-time search
- Elasticsearch:Index basics
- Elasticsearch 8.19:Near real-time search
- Elasticsearch 8.19:Translog
- Elasticsearch 8.19:Doc values
- Elasticsearch 8.19:Pagination
- Elasticsearch:Refresh parameter
- Elasticsearch 8.19:GET API
- Elasticsearch 8.19:Aliases
- Elasticsearch 8.19:Term query
- Elasticsearch 8.19:Replication model
- Elasticsearch 8.19:Tune for Search Speed
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明