nt查询所有高亮算分控制

数据聚合DSL实现Bucket聚合DSL实现Metrics聚合RestAPI实现聚合

拼音分词器如何使用拼音分词器如何自定义分词器拼音分词器注意事项

自动补全数据同步集群搭建ES集群结构创建es集群集群状态监控创建索引库1利用kibana的DevTools创建索引库2利用cerebro创建索引库

查看分片效果ES集群中的节点角色ES脑裂ES集群的分布式存储ES集群的分布式查询ES集群的故障转移

RestClient

SearchRequest(hotel);//2.准备DSLrequest.source().query(QueryBuilders.matchAllQuery());//3.发送请求SearchResponse

response

RequestOptions.DEFAULT);System.out.println(response);}高亮

request.source().highlighter(new

HghlightBuilder().field(name)//是否需要与字段匹配.requireFieldMatch(false))Testpublic

void

准备DSLrequest.source().query(QueryBuilders.matchQuery(name

如家));//2.2

高亮request.source().highlighter(new

HighlightBuilder().field(name).requireFieldMatch(false));//3

发送请求SearchResponse

searchHits.getTotalHits().value;//4.2

文档数组SearchHit[]

hit.getSourceAsString();//反序列化HotelDoc

hotelDoc

HotelDoc.class);//获取高亮结果MapString

HighlightField

hit.getHighlightFields();//根据字段名获取高亮结果HighlightField

highlightField

hightlightFields.get(name);//获取高亮值String

name

highlightField.getFragments()[0].string();//覆盖非高亮结果hotelDoc.setName(name);}}所有搜索DSL的构建记住一个API

算分控制

QueryBuilders.functionScoreQuery(//原始查询相关性算分的查询boolQuery

,new

FunctionSocreQueryBuilder.FilterFunctionBuilder[]{new

FunctionScoreQueryBuilder.FilterFunctionBuilder(//过滤条件QueryBuilders.termQuery(isAd

true),//算分函数ScoreFuntionBuilders.weightFactorFuntion(10))}

);数据聚合

聚合aggregations可以实现对文档数据的统计、分析、运算。

聚合常见的有三类

桶Bucket聚合用来对文档做分组

Histogram:按照日期阶梯分组例如一周为一组或者一月为一组

度量Metric聚合用以计算一些值比如最大值、最小值、平均值等

Avg求平均值Max求最大值Min求最小值Stats同时求max、min、avg、sum等

Bucket对文档数据分组并统计每组数量Metric对文档数据做计算例如avgPipeline基于其他聚合结果再做聚合

keyword数值日期布尔

聚合的类型按照品牌值聚合所以选择termfield:brand,

聚合名称聚合类型聚合手段

size指定聚合结果数量order指定聚合结果排序方式field指定聚合字段

DSL实现Metrics聚合

例如我们要求获取每个品牌的用户评分的min、max、avg等值

GET

{size:0,aggs:{brandAgg:{terms:{field:brand,size:20},aggs:{//

是brands聚合的子聚合也就是分组后对每组分别计算score_status:{

聚合名称stats:{

聚合类型这里stats可以计算min、max、avg等field:score//

}RestAPI实现聚合

设置sizerequest.source().size(0);//

聚合request.source().aggregation(AggregationBuilders.terms(brandAgg).size(20).field(brand));//发出请求SearchResponse

response

RequestOptions.DEFAULT);//解析聚合结果Aggregations

aggregations

response.getAggregations();//根据名称获取聚合结果Terms

brandTerms

aggregations.get(brand_agg);//获取桶List?

extends

bucket.getKeyAsString();System.out.println(brandName);}}实现对品牌、城市、星级的聚合

Testpublic

设置sizerequest.source().size(0);//

聚合request.source().aggregation(AggregationBuilders.terms(brandAgg).size(20).field(brand));request.source().aggregation(AggregationBuilders.terms(cityAgg).size(20).field(city));request.source().aggregation(AggregationBuilders.terms(starAgg).size(20).field(starName));//发出请求SearchResponse

response

RequestOptions.DEFAULT);//解析聚合结果Aggregations

aggregations

response.getAggregations();MapString

ListString

aggregations));result.put(cityAgg

getAggByName(cityAgg

aggregations));result.put(starAgg

getAggByName(starAgg

bucket.getKeyAsString();result.add(keyAsString);}return

result;}拼音分词器

Suggester查询来实现自动补全功能。

这个查询会匹配以用户输入内容开头的词条并返回。

为了提高补全查询的效率对于文档中字段的类型有一些约束

参与补全查询的字段必须是completion类型字段的内容一般是用来补全的多个词条形成的数组

自动补全查询

{suggest:{titleSuggest:{text:s,completion:{field:title,skip_duplicates:true,size:10}}}

Test

准备DSLrequest.source().suggest(new

SuggestBuilder().addSuggestion(suggestions

SuggestBuilders.completionSuggestion(suggestion).prefix(h).skipDuplicates(true).size(10)));//

发起请求SearchResponse

client.search(request,RequestOptions.DEFAULT);//

解析结果Suggest

suggest.getSuggestion(hotelSuggestion);//获取options并遍历for(CompletionSuggestion.Entry.Option

option

suggestion.getOptions()){String

text

option.getText().string();System.out.println(text);}

}数据同步

优点完全解除服务间耦合缺点开启binlog增加数据库负担、实现复杂度高

定义config文件声明队列和交换机bean并绑定队列与交换机在增加删除修改接口中发送mq消息到指定的增删改队列定义监听器监听mq消息并修改es文档

集群搭建

单机的es做数据存储必然面临两个问题海量数据存储问题单点故障问题

海量数据存储问题将索引库从逻辑上拆分N个分片shard存储到多个节点单点故障问题将分片数据在不同节点备份replica

创建es集群

elasticsearch:7.12.1container_name:

es01environment:-

cluster.initial_master_nodeses01,es02,es03-

ES_JAVA_OPTS-Xms512m

data01:/usr/share/elasticsearch/dataports:-

9200:9200networks:-

elasticsearch:7.12.1container_name:

es02environment:-

cluster.initial_master_nodeses01,es02,es03-

ES_JAVA_OPTS-Xms512m

data02:/usr/share/elasticsearch/dataports:-

9201:9200networks:-

elasticsearch:7.12.1container_name:

es03environment:-

cluster.initial_master_nodeses01,es02,es03-

ES_JAVA_OPTS-Xms512m

data03:/usr/share/elasticsearch/datanetworks:-

elasticports:-

bridgees运行需要修改一些linux系统权限修改/etc/sysctl.conf文件

vm.max_map_count262144然后执行命令让配置生效

sysctl

kibana可以监控es集群不过新版本需要依赖es的x-pack

这里推荐使用cerebro来监控es集群状态官方网址https://github.com/lmenezes/cerebro

输入你的elasticsearch的任意节点的地址和端口点击connect即可

创建索引库

eligible节点因此一旦master节点宕机其他候选节点会选举一个称为主节点。

当主节点与其他节点网络故障时可能发生脑裂问题。

为了避免脑裂需要要求选票超过eligible节点数量1/2才能当选为主因此eligible节点数量最好是奇数。

对应配置项是discovery.zen.minimux_master_nodes,在es7.0以后已经成为默认配置因此一般不会发生脑裂问题。

master

参与集群选主主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求

当新增文档时应该保存到不同的分片保证数据均衡那么coordinating

node如何确定数据该存储到哪个分片呢elasticsearch会通过hash算法来计算文档应该存储到哪个分片

shard

_routing默认是文档的id算法与分片数量有关因此索引库一旦创建分片数量不能修改

scatter

集群的master节点会监控集群中的节点状态如果发现有节点宕机会立即将宕机节点的分片数据迁移到其他节点确保数据安全这个叫做故障转移