企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
如何在保留不变性的前提下实现倒排索引的更新? <br/> 答案是: 用更多的索引。通过增加新的补充索引来反映新近的修改,而不是直接重写整个倒排索引。每一个倒排索引都会被轮流查询到,从最早的开始查询完后再对结果进行合并。 <br/> Elasticsearch 基于 Lucene, 这个 java 库引入了**按段搜索**的概念。 每一**段**本身都是一个倒排索引, 但索引在 Lucene 中除表示所有段的集合外, 还增加了**提交点**的概念 — 一个列出了所有已知段的文件。 :-: ![](https://img.kancloud.cn/3f/94/3f94b3d245fb018d2fc56f720b2c4dc0_558x332.png) <br/> 按段搜索会以如下流程执行: 1. 新文档被收集到内存索引缓存。 :-: ![](https://img.kancloud.cn/a2/e4/a2e41e28720aa53cb203147c12d18863_443x320.png) 2. 不时地, 缓存被提交。 (1)一个新的段—一个追加的倒排索引—被写入磁盘。 (2) 一个新的包含新段名字的 提交点 被写入磁盘。 (3) 磁盘进行 同步 — 所有在文件系统缓存中等待的写入都刷新到磁盘,以确保它们被写入物理文件。 3. 新的段被开启,让它包含的文档可见以被搜索。 4. 内存缓存被清空,等待接收新的文档。 :-: ![](https://img.kancloud.cn/ce/2b/ce2ba56b56447eceb5275a722a9f9c7f_576x425.png) 当一个查询被触发,所有已知的段按顺序被查询。词项统计会对所有段的结果进行聚合,以保证每个词和每个文档的关联都被准确计算。 这种方式可以用相对较低的成本将新文档添加到索引。 <br/> 段是不可改变的,所以既不能从把文档从旧的段中移除,也不能修改旧的段来进行反映文档的更新。 取而代之的是,每个提交点会包含一个 `.del` 文件,文件中会列出这些被删除文档的段信息。 <br/> 当一个文档被 删除”时,它实际上只是在 `.del` 文件中被 标记 删除。一个被标记删除的文档仍然可以被查询匹配到, 但它会在最终结果被返回前从结果集中移除。 <br/> 文档更新也是类似的操作方式:当一个文档被更新时,旧版本文档被标记删除,文档的新版本被索引到一个新的段中。 可能两个版本的文档都会被一个查询匹配到,但被删除的那个旧版本文档在结果集返回前就已经被移除。