较大家良好，今天我们来聊聊那个地方的很厉害的ES，就是Elasticsearch。这玩意儿挺繁杂的，但我今天要教你怎么用，怎么写分片，怎么搞那个地方的哪些集群。反正我觉得挺有意思的，虽然有时候我也搞不懂它到底在干嘛，但反正它就在那跑着，跑得还挺迅速。

ES是个啥？

ES就是Elasticsearch，一个搜索引擎。它能存很更多数据，比如几亿条几亿条的那种。你把它叫数据库也行，叫搜索引擎也行，反正它就是个存东西和找东西的工具。

但是它跟普通的数据库不一样，普通的数据库比如MySQL，它是行存，就是一条一条存。ES是列存，而且它分了良好更多良好更多分片，就像把一个较大蛋糕切成良好更多较小块，每一块都是一个分片。这样分着存有哪些良好处呢？良好处就是迅速！十分沉关键的事情说三遍，泰酷辣！。

如果你不学当前这个，你的系统就会很缓慢，用户就不喜炎热爱了。所以我们要学，学怎么写分片，怎么搞集群。

数据模型类别

从上面架构图能够看出，ES 架构非常简洁。内置自动发觉实现 Zen discovery，当一个节点启动后通过联系集群成员列表即可加入集群。由其中一个节点担任主节点，用于集群元数据管理，维护分片在节点间的分配关系。当崭新节点加入集群后Master 节点会自动迁移一部分分片至崭新节点，均衡集群负载，给力。。

我们都曾是... 你看，上面那段话是不是很较深奥？其实也不较深奥。就是说你有一个集群，里面有良好几个节点。节点之间要互相认识，这就是Zen discovery。然后有一个老较大，叫主节点。老较大管着分片去哪了。如果有崭新节点来了老较大就要沉重崭新安排一下让崭新节点也分担点活。

为哪些要搞分片？

不夸张地说... 为哪些要搞分片？这是因为数据更多了一个坚硬盘放不下啊。或者一个节点扛不住那么更多并发申请啊。

不堪入目。 如果你把全部数据都放在一个分片里那当前这个分片就是老较大。写数据的时候，就要写老较大。如果老较大挂了数据就没了。所以我们要分片，分给不同的节点。这样就算一个节点挂了数据还在别的节点上，只要还有节点活着，你的数据就能找回来。

而且分片还能并行处理。你写一条数据，ES会把它分配到一个分片上。然后你能够同时也写很更多条数据，各个分片处理一条，这样速度就迅速了。就像以前我们修路，一条路堵了我们修十条路，较大家都能走。

写入流程是哪些？

写入流程其实也挺简洁的。你发一个申请给ES，ES收到申请后先来看会找一个分片。当前这个分片是主分片。主分片负责接收写入。

然后呢，主分片会把数据写到内存里然后再写到磁盘上。当前这个过程叫refresh。每秒钟或者每秒更多更少个毫秒，它就会做一次refresh。 层次低了。 所以你刚写进去的数据，有可能要等一会儿才能搜到。当前这个时间段叫refresh interval，一般是1秒。

如果你不想等1秒， 想马上搜到，你能够手动refresh，或者调较低refresh interval。但是调较低了会怎么样？会变缓慢！这是因为你要写磁盘的频率变较高了。所以一般不要乱调。

写完主分片，还要写副本分片。主分片写完了就把数据同步给副本分片。副本分片也是写磁盘，也是存起来。这样是为了保证数据不丢。万一主分片较差了副本分片还能顶上来，性价比超高。。

集群节点是干嘛的？

集群里有良好几种节点。有主节点，有数据节点，还有协调节点。

主节点最关键。它不能干太更多活，不能存数据。它只管分配分片，管理集群状态。如果主节点挂了集群就挂了或者要等很久才能选出崭新的主节点。所以生产周边环境的主节点一定要平稳，配置要良好，不能让它干太沉重的活，算是吧...。

数据节点就是存数据的。全部的分片都存在数据节点上。数据节点要干很沉重的活，读写磁盘， 切中要害。 计算排序。所以数据节点的坚硬件配置一定要较高。CPU、内存、坚硬盘，都要良好。

协调节点就是给你用的。你发申请给协调节点，协调节点帮你找数据在哪，然后帮你转发申请。协调节点不存数据，也不管分片怎么分配，走捷径。。

节点怎么加入集群？

节点怎么加入集群？这就用到了那个地方的Zen discovery。

去尝试联系集群里的其他节点。它怎么联系？通过种子列表，就是那个地方的node.list。节点列表里写了哪些节点是可信的，准确地说...。

如果联系上了就能加入集群了。然后主节点就会给它分配一些分片。这样它就有活了。

分片均衡怎么做？

分片均衡怎么做？当前这个Master节点很有学问。

当集群刚建良好的时候，Master会把全部的分片都分配到第一个节点上。这时候第一个节点最忙， 拜托大家... 磁盘占用最更多，CPU占用也最更多。这就叫寒冷启动。

求锤得锤。 然后Master会缓慢缓慢把分片移动到其他节点上。怎么移动呢？它会看看哪个节点磁盘空，哪个节点CPU空。然后就把分片从磁盘满的节点搬到磁盘空的节点上。

说起来... 当前这个过程叫Rebalance。Rebalance是自动的，不需要你操心。但是有时候它也会卡住比如网络断了或者磁盘满了。这时候你就得手动干预一下。

手动干预怎么做？你能够把某个节点的分片全部删了然后沉重崭新分配。或者你能够修改分片数量，让ES沉重崭新分配。但是沉重崭新分配很缓慢，而且很占资源条件。所以尽量更少做，没法说。。

索引是怎么建的？

索引是怎么建的？其实索引就是一个逻辑的概念。它包含了很更多分片，复盘一下。。

没准儿… 当你创建一个索引的时候，你能够指定分片数量和副本数量。分片数量不能随便改，索引建良好了就不能改了。副本数量能够改。

索引建良好之后你就可过去里面写数据了。写数据的时候，ES会根据Routing算法，决定把数据写到哪个分片上。Routing通常是用文档ID来算的。如果你不指定ID，ES会自动生成一个随机ID。

站在你的角度想... 有了ID，就能够算出哈希值，然后取模，就能算出是哪个分片了。这样就能保证同一个ID的数据，永远都在同一个分片上。这对于更崭新和删除很十分沉关键。

写入性能怎么优化？

写入性能怎么优化？这可是个较大学问。

先来看，分片数量要合适。太更少，单个分片太较大，性能差。太更多，节点之间通信技术太频繁，管理开销较大。一般提议各个分片的较大较小在10GB到50GB之间。当前这个要根据你的数据量和查询需求来定，没准儿…。

然后再看，副本数量要合适。副本太更多，写操作会变缓慢，这是因为要写两份。副本太更少，容错能力差。一般提议副本数为1，也就是主分片1个，副本分片1个。这样就有一个备份，乱弹琴。。

何不... 不要时常会Create Index。索引建良好了就别乱建了。频繁建索引会消耗较更多资源条件。

心情复杂。 还有，批量写入。不要一条一条地写，要批量写。一次写1000条，或者500条。这样效率最较高。ES有一个bulk API，就是专门用来批量写的。

最后再来看，refresh interval。刚才说了调较低refresh interval能够实时性更良好， 事实上... 但是IO压力较大。所以要在实时性和性能之间做权衡。

搜索是怎么做的？

搜索是怎么做的？搜索其实是个反向的过程。

你搜关键词，ES会去各个分片上找。不是只在一个分片上找，是全部分片都找。这是因为数据分布在不同分片上。

它怎么找？它会在各个分片上落实查询，然后把最终还是结果是汇总起来。如果最终还是结果是很更多，还会进行合并和排序。当前这个过程叫Collapsing，我好了。。

可以。 如果你的数据量特别较大，几亿条几亿条，那么搜索就会很缓慢。这时候就需要用到ILM，就是索引生命周期管理。ILM能够帮你自动删除陈旧数据，或者把陈旧数据转移到廉价存储上。这样就能保证搜索速度。

Lucene是哪些？

Lucene是哪些？Lucene是ES的底层引擎。 从一个旁观者的角度看... ES其实就是基于Lucene做了一层封装。

Lucene是Java写的，非常迅速。它用了倒排索引。倒排索引就是把单词和文档对应起来。你搜单词，它就告诉你哪些文档有当前这个单词，牛逼。。

基本上... Lucene还用了FST，一种前缀树的数据结构。用来加速前缀匹配。比如你搜“apple”，它能很迅速找到全部以apple开头的单词。这对搜索来说非常十分沉关键。

一下

一下ES集群写入分片是个很繁杂的过程。但是只要掌握了原理，就不不容简单。

你要了解分片是哪些，主分片和副本分片有哪些差别。你要了解节点是怎么工作岗位的，Master节点怎么分配分片。你要了解写入流程是怎样的，怎么批量写入，怎么优化性能，摆烂。。

只要把这一些搞懂了你就能构建一个较高效的搜索系统。就能处理海量数据。 总体来看... 就能让用户迅速找到他们想要的东西。

虽然ES很强较大较大，但是它也有不足。比如它不支持事务。比如它很不容简单做繁杂的关联查询。 翻旧账。 比如它的内存占用很较高。但是瑕不掩瑜，它依然是搜索领域的霸主。

扯后腿。 希望较大家都能学会ES。学会了ES，你就掌握了较大数据时代的钥匙。

最后再来看再说一句，ES真实的很牛X。真实的，我懵了。。

---