Elasticsearch

服务启动实例就是一个节点Node。

节点分为主节点Master投票节点Voting协调节点Coordinating候选节点Master-eligible和数据节点Data。

分片ES

通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上拆分出来的数据库块称之为一个分片。

副本副本就是对分片的

Copy每个主分片都有一个或多个副本分片当主分片异常时副本可以提供数据的查询等操作。

写请求首先会被打到协调节点协调节点根据路由算法决定数据写入的主分片位置并在主节点上执行写入操作。

路由算法

通过该公式可以保证使用相同routing的文档被分配到同一个shard上。

_routing

_id

index.routing_partition_size参数仅当使用routing参数时可用用于将routing相同的文档映射到集群分片的一个子集上这样一方面可以减少查询的分片数另一方面又可以在一定程度上防止数据倾斜。

引入该参数后计算公式如下

shardId

发送给各个副本分片并且等待副本分片返回然后再响应协调节点。

如果某个分片执行失败主分片会给主节点发请求移除该分片。

⑪等待

LocalCheckPoint。

如果设置了index.write.wait_for_active_shards1,那么写完主节点直接返回客户端异步同步到从分片。

如果

index.write.wait_for_active_shardsall,那么必须要把所有的副本写入完成才返回客户端。

wait_for_active_shards最大值只能是

number_of_replicas

详情见官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docs-index_.html#index-wait-for-active-shards

Elasticsearch

在了解了文件写入流程以后再来近距离观察一下写入的细节看看索引是如何通过内存最终写入磁盘的。

所示将每一步写入操作进行拆解如下

秒钟参数refresh_interval1s或者内存的数据达到一定量默认值是

JVM

10%时会触发一次刷新Refresh将内存中的数据生成到一个新的段上并缓存到文件系统缓存FileSystem

Cache上并将Index

的数据会被清空。

这时虽然新段未被提交到磁盘但是此时的数据就可以被

③ES

index.translog.flush_threshold_size

分钟时会触发一次

##translog的刷盘策略durability为request表示同步默认async表示异步index.translog.durability:

async

##translog刷盘间隔时间。

默认为5s不可低于100msindex.translog.sync_interval:

120s

##超过这个大小会导致flush操作产生新的Lucene分段。

默认值为512MBindex.translog.flush_threshold_size:

1024mb

里的记录把未持久化的数据重新持久化到磁盘上避免了数据丢失的可能。

Translog

Translog追加的内容就是对ES的请求操作。

此时会根据配置同步或者异步的方式将操作记录追加信息保存到磁盘中。

另一种

在执行文档的CRUD操作时通过文档ID就能计算出文档存储在哪个分片中所以只要将客户端请求转发给对应的分片(或其副本)所在的节点进行处理即可。

而执行文档搜索操作时只会提供搜索条件并不包含文档ID无法直接知道哪些分片包含搜索结果需要先搜索所有的分片(或其副本)还要对每个分片上的结果进行汇总以得到最终结果。

所以文档的搜索过程会分为如下两步执行

将第一步称为query第二步称为fetch整个搜索过程称为query-***n-fetch。

size