当前位置: 首页> 财经> 金融 > 成品1688网站_百度免费安装_百度软文推广怎样收费_本地服务推广平台哪个好

成品1688网站_百度免费安装_百度软文推广怎样收费_本地服务推广平台哪个好

时间:2025/7/11 14:48:54来源:https://blog.csdn.net/qq_25131363/article/details/145892040 浏览次数:0次
成品1688网站_百度免费安装_百度软文推广怎样收费_本地服务推广平台哪个好

Elasticsearch 写入数据的工作原理

1. 写入流程概述

当客户端向 Elasticsearch 发送写入请求时,会经历以下步骤:

  1. 客户端选择一个节点 作为 coordinating node(协调节点),发送请求。
  2. 协调节点对文档进行路由,根据文档 ID 计算哈希值,确定其应该存储在哪个 primary shard 上。
  3. Primary shard 处理请求,然后将数据同步到所有的 replica shard。
  4. 当 primary 和所有 replica 完成后,协调节点向客户端返回写入成功的响应。
2. 写入的底层机制
  1. 数据先写入内存 buffer,此时数据不可搜索。
  2. 同时写入 translog 日志文件,防止宕机时数据丢失。
  3. 定期执行 refresh(默认 1s),将 buffer 中的数据写入 segment 文件,并存储在 os cache 中,使其可搜索。
  4. 当 translog 过大或默认 30 分钟触发 flush,将数据真正持久化到磁盘上的 segment 文件,并清空 translog。
  5. Segment merge:ES 会定期合并小 segment,减少查询时的开销,但 merge 过程可能影响写入性能。

这就是为什么 Elasticsearch 是 Near Real-Time (NRT),因为数据写入后 1s 之内才能被搜索到。


Elasticsearch 查询数据的工作原理

1. 通过 doc_id 进行查询
  1. 客户端发送查询请求到任意节点(coordinating node)。
  2. 协调节点基于 doc_id 计算哈希,找到存储该文档的 shard。
  3. 随机选择 primary 或 replica shard 进行查询(采用 round-robin 负载均衡)。
  4. 查询结果返回给协调节点,然后再返回给客户端。
2. 全文检索过程(搜索 query)

全文检索是 Elasticsearch 的核心功能,比如搜索 java,ES 会返回所有包含 java 的文档。

  1. 客户端发送搜索请求到协调节点
  2. 协调节点将查询分发到所有 primary 或 replica shard
  3. Query Phase: 每个 shard 返回匹配的 doc_id 列表。
  4. Fetch Phase: 协调节点根据 doc_id 读取文档,合并、排序、分页,并返回最终结果。
3. 查询优化机制

为了提升查询效率,Elasticsearch 采用多种优化策略:

  • Query Cache:对于相同的查询,缓存结果,减少重复计算。
  • Shard Preference:优先查询特定的 shard,避免不必要的 IO 负担。
  • Index Sorting:在索引阶段提前排序,提高查询时的效率。

倒排索引:Elasticsearch 的核心

倒排索引是搜索引擎最重要的数据结构,它允许快速查询包含某个关键词的文档。

1. 倒排索引的基本原理

示例文档:

DocId文档内容
1谷歌地图之父跳槽 Facebook
2谷歌地图之父加盟 Facebook
3谷歌地图创始人拉斯加盟 Facebook

建立倒排索引:

关键词文档 ID 列表
谷歌1,2,3
地图1,2,3
之父1,2
加盟2,3
Facebook1,2,3

当用户搜索 Facebook,Elasticsearch 直接从索引中查找包含 Facebook 的文档 ID,返回搜索结果。

倒排索引的两个特点:

  1. 所有词项对应一个或多个文档 ID。
  2. 词项按照字典顺序存储,便于快速查找。
2. 倒排索引的优化

Elasticsearch 采用多种方法优化倒排索引,提高查询效率:

  • 跳表(Skip List):在索引中添加跳跃指针,减少查询时的遍历开销。
  • 布隆过滤器(Bloom Filter):快速判断某个 term 是否存在,减少不必要的磁盘 IO。
  • 前缀压缩:相同前缀的词合并存储,减少索引大小,提高查找效率。

总结

  • 写入数据时,Elasticsearch 先写入内存 buffer 和 translog,定期 refresh 让数据可搜索,commit 触发 flush 持久化数据,同时进行 segment merge。
  • 查询数据时,可通过 doc_id 查询或全文搜索,搜索采用倒排索引来提高性能,并使用 query cache、index sorting 等优化查询效率。
  • 倒排索引是 Elasticsearch 的核心数据结构,它将关键词映射到文档,支持高效的全文搜索,同时通过跳表、布隆过滤器、前缀压缩等方式优化性能。

理解这些原理后,你就不再把 Elasticsearch 当作黑盒,而是可以更深入地优化查询、调整参数,提升搜索性能!

关键字:成品1688网站_百度免费安装_百度软文推广怎样收费_本地服务推广平台哪个好

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: