核心概念

索引#xff08;Index#xff09;#xf…Elasticsearch

Lucene

风格的搜索引擎和分析引擎具有强大的全文搜索、数据分析、机器学习等功能广泛应用于日志分析、实时数据分析、全文检索等场景。

核心概念

索引Index类似于传统数据库中的数据库是存储数据的逻辑容器。

一个索引可以包含多个类型的数据每个索引都有一个唯一的名称用于标识。

类型Type在早期版本中一个索引可以有多个类型用来区分不同类型的数据但在

7.x

及以上版本中一个索引只能有一个类型且默认类型为“_doc”。

文档Document是

Elasticsearch

ID用于在索引中定位和操作文档。

字段Field是文档中的一个属性或键值对用于存储具体的数据内容如姓名、年龄、价格等。

字段有不同的数据类型如文本、数字、日期等不同的数据类型决定了字段的存储和检索方式。

主要特点

的倒排索引技术能够快速地对文本数据进行全文搜索。

它会将文本数据拆分成单词或词汇建立索引当进行搜索时通过查找索引快速定位到包含搜索关键词的文档大大提高了搜索效率。

分布式架构可以部署在多个节点上形成一个分布式集群。

数据会被自动分片存储在不同的节点上当一个节点出现问题时其他节点可以继续提供服务保证了系统的高可用性和数据的可靠性。

同时分布式架构也使得

Elasticsearch

能够处理海量的数据和高并发的请求。

易于扩展随着数据量和访问量的增加可以通过简单地增加节点来水平扩展集群。

新加入的节点会自动参与数据的存储和查询工作无需对现有系统进行复杂的改造能够灵活地应对业务的增长。

RESTful

HTTP

请求就可以完成数据的增删改查、索引管理、查询分析等各种操作降低了开发难度和成本。

多租户支持在

Elasticsearch

集群中可以创建多个索引每个索引可以视为一个独立的“租户”不同租户之间的数据相互隔离。

这使得

Elasticsearch

能够在一个集群中同时为多个应用程序或用户提供服务提高了资源利用率。

强大的聚合分析功能除了基本的搜索功能还提供了丰富的聚合分析功能如统计、分组、排序、时间序列分析等。

可以对搜索结果进行进一步的数据挖掘和分析帮助用户快速获取数据的统计信息和趋势为决策提供支持。

常见应用场景

日志分析能够高效地收集、存储和分析各种日志数据如服务器日志、应用程序日志、网络设备日志等。

通过对日志数据的搜索、过滤、聚合分析可以快速定位系统故障、性能瓶颈、安全问题等为运维人员提供有力的工具。

实时数据分析适用于需要实时处理和分析大量数据的场景如金融交易监控、社交媒体数据监测、物联网设备数据处理等。

Elasticsearch

可以实时地接收数据快速地进行查询和分析及时发现异常情况并做出响应。

全文检索为各种需要全文检索功能的应用程序提供支持如电子商务网站的商品搜索、知识管理系统的内容检索、新闻网站的新闻搜索等。

能够根据用户的输入关键词快速地在海量文本数据中找到匹配的结果并按照相关性进行排序提升用户体验。

机器学习结合

Elasticsearch

的机器学习功能可以对数据进行自动分析和建模实现异常检测、预测分析等高级功能。

例如在网络安全领域通过机器学习算法对网络流量数据进行分析自动识别潜在的攻击行为在电商领域预测用户的购买行为和需求。

架构组件

集群中的一个服务器实例承担着数据存储、查询处理、集群管理等任务。

节点之间通过网络进行通信和协作共同构成一个完整的

Elasticsearch

集群。

集群Cluster由一个或多个节点组成通过配置集群名称来标识。

集群负责管理节点、分配分片、处理请求等保证数据的一致性和高可用性。

集群中的主节点Master

Node负责集群级别的操作如创建索引、分配分片、节点发现等数据节点Data

Node主要负责存储数据和执行查询操作。

分片Shard为了提高数据的存储能力和查询性能索引会被分割成多个分片每个分片是一个独立的

Lucene

索引。

分片可以分布在不同的节点上当进行查询时查询请求会被分发到各个分片上并行执行然后将结果汇总返回。

分片的数量在索引创建时确定可以根据数据量和查询需求进行合理配置。

副本Replica是分片的副本用于提高数据的可靠性和查询性能。

当一个分片出现故障时副本可以接管其查询请求保证服务的可用性。

同时副本也可以分担查询负载提高查询的并发处理能力。

副本的数量可以根据集群的节点数量和可靠性要求进行配置。

数据写入与查询流程

向集群发送数据写入请求请求中包含要写入的索引名称、文档数据等信息。

主节点路由请求主节点接收到请求后根据索引的分片策略将写入请求路由到对应的主分片所在的节点。

主分片写入数据主分片节点接收到请求后将数据写入本地的分片中并记录操作日志。

写入成功后会将操作日志发送给对应的副本分片节点。

副本分片同步数据副本分片节点接收到操作日志后会根据日志内容将数据同步到本地的副本分片中。

当所有副本分片都成功同步数据后主分片节点会向客户端返回写入成功的响应。

数据查询流程

RESTful

向集群发送查询请求请求中包含查询条件、索引名称等信息。

主节点分发查询请求主节点接收到查询请求后根据索引的分片分布情况将查询请求分发到所有相关的分片所在的节点。

分片节点执行查询各个分片节点接收到查询请求后在本地的分片中执行查询操作根据查询条件检索匹配的文档并将查询结果返回给主节点。

主节点汇总结果主节点接收到各个分片节点返回的查询结果后对结果进行汇总和排序等处理然后将最终的查询结果返回给客户端。

Elasticsearch基础概念

Index索引(index)就是文档的集合类似数据库的表(table)

Document文档Document就是一条条的数据类似数据库中的行Row文档都是JSON格式

Field字段Field就是JSON文档中的字段类似数据库中的列Column

MappingMapping映射是索引中文档的约束例如字段类型约束。

类似数据库的表结构Schema

DSLDSL是elasticsearch提供的JSON风格的请求语句用来操作elasticsearch实现CRUD

倒排索引

ID用于唯一标识每个文档类似数据库表中的主键有了它就能精准定位到特定的某一文档。

索引项跟在文档

后面包含了文档中的各类关键元素比如文本里的词汇、数据记录的属性值等有的还会附上这些元素在文档中的具体位置信息。

倒排索引

文档Document用来搜索的数据其中的每一条数据就是一个文档。

例如一个网页、一个商品信息。

词条Term对文档数据或用户搜索数据利用某种算法分词得到的具备含义的词语就是词条。

例如我是中国人就可以分为我、是、中国人、中国、国人这样的几个词条。

id索引

3拿着词条在倒排索引中查找由于词条有索引查询效率很高即可得到包含词条的文档id1、2、3。

4拿着文档id到正向索引中查找具体文档即可由于id也有索引查询效率也很高。

正向索引

es-data:/usr/share/elasticsearch/data

\-v

es-plugins:/usr/share/elasticsearch/plugins

\--privileged

网络在我们搭建服务器的时候可以创建一个docker网络将要互相通信的放在这一个网络里面。

注意这里需要先用docker

network

镜像名称和标签如果我们指定这个镜像本地没有这个版本就会进行下载。

注意这里我们采用的是elasticsearch的7.12.1版本由于8以上版本的JavaAPI变化很大在企业中应用并不广泛企业中应用较多的还是8以下的版本。

2.防火墙开放端口

Elasticsearch的关键就是倒排索引而倒排索引依赖于对文档内容的分词而分词则需要高效、精准的分词算法IK分词器就是这样一个中文分词算法。

方法一在线安装

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

重启es容器

进入/var/lib/docker/volumes/es-plugins/_data下

重启es容器

随着互联网的发展“造词运动”也越发的频繁。

出现了很多新的词语在原有的词汇列表中并不存在如“逆天、依托答辩、我了个豆”

POST

所以要想正确分词IK分词器的词库也需要不断的更新IK分词器提供了扩展词汇的功能。

1打开IK分词器config的可以去网上找一些词库让后创建一个config文件下

?xml

http://java.sun.com/dtd/properties.dtd

propertiescommentIK

/properties3新建ext.dic文件用记事本或者其他编辑器打开ext.dic文件然后添加自己想要的词语即可

4重启elasticsearch

}还可以在IKAnalyzer.cfg.xml加上如下配置实现更多功能

?xml

http://java.sun.com/dtd/properties.dtd

propertiescommentIK

扩展配置/comment!--用户可以在这里配置自己的扩展字典

--entry

keyext_dictext.dic/entry!--用户可以在这里配置自己的扩展停止词字典--entry

keyext_stopwordsstopword.dic/entry!--用户可以在这里配置远程扩展字典

--!--

keyremote_ext_dictwords_location/entry

entry

keyremote_ext_stopwordswords_location/entry

/propertiesRESTAPI使用

ES官方提供了各种不同语言的客户端用来操作ES。

这些客户端的本质就是组装DSL语句通过http请求发送给ES。

官方文档地址

由于ES目前最新版本是8.8提供了全新版本的客户端老版本的客户端已经被标记为过时。

而我们采用的是7.12版本因此只能使用老版本客户端

然后选择7.12版本HighLevelRestClient版本

dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactIdversion7.12.1/version

/dependency

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.181.32:9200)//es服务ip地址:端口号));}Testvoid

testConnect()

{System.out.println(client);//执行不好错就行了}AfterEachvoid

tearDown()

{//准备request对象CreateIndexRequest

request

CreateIndexRequest(items);//准备请求参数request.source(MAPPING_TEMPLATE,

XContentType.JSON);//发送请求client.indices().create(request,

RequestOptions.DEFAULT);}//判断是否存在Testvoid

testExistsndex()

GetIndexRequest(items);//发送请求boolean

exists

client.indices().exists(request,

RequestOptions.DEFAULT);System.out.println(exists

testDeleteIndex()

{//准备request对象DeleteIndexRequest

request

DeleteIndexRequest(items);//发送请求client.indices().delete(request,

RequestOptions.DEFAULT);}BeforeEachvoid

setUp()

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.181.32:9200)));}AfterEachvoid

tearDown()

com.baomidou.mybatisplus.extension.plugins.pagination.Page;

import

com.hmall.item.domain.po.ItemDoc;

import

com.hmall.item.service.IItemService;

import

org.elasticsearch.action.bulk.BulkRequest;

import

org.elasticsearch.action.delete.DeleteRequest;

import

org.elasticsearch.action.get.GetRequest;

import

org.elasticsearch.action.get.GetResponse;

import

org.elasticsearch.action.index.IndexRequest;

import

org.elasticsearch.action.update.UpdateRequest;

import

org.elasticsearch.client.RequestOptions;

import

org.elasticsearch.client.RestClient;

import

org.elasticsearch.client.RestHighLevelClient;

import

org.elasticsearch.common.xcontent.XContentType;

import

org.junit.jupiter.api.AfterEach;

import

org.junit.jupiter.api.BeforeEach;

import

org.springframework.beans.factory.annotation.Autowired;

import

org.springframework.boot.test.context.SpringBootTest;import

java.io.IOException;

java.util.List;SpringBootTest(properties

public

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.181.32:9200)));}//创建文档Testvoid

createDoc()

itemService.getById(577967L);//2.把数据库数据转成文档数据ItemDoc

itemDoc

ItemDoc.class);//准备request对象IndexRequest

request

IndexRequest(items).id(itemDoc.getId());//构建请求参数request.source(JSONUtil.toJsonStr(itemDoc),

XContentType.JSON);//发送请求client.index(request,

RequestOptions.DEFAULT);}//获取文档数据Testvoid

testGetDoc()

RequestOptions.DEFAULT);//获取响应结果中的sourceString

json

response.getSourceAsString();//转成java对象ItemDoc

itemDoc

ItemDoc.class);System.out.println(itemDoc

testDelDoc()

577967);//发送请求client.delete(request,

RequestOptions.DEFAULT);}//修改文档数据Testvoid

testUpdateDoc()

29900);//发送请求client.update(request,

RequestOptions.DEFAULT);}//批量操作文档新增Testvoid

testBulkDoc()

itemService.lambdaQuery().eq(Item::getStatus,

pageSize));ListItem

{return;}//准备BulkRequest对象BulkRequest

request

IndexRequest(items).id(item.getId().toString()).source(JSONUtil.toJsonStr(BeanUtil.copyProperties(item,

ItemDoc.class)),

XContentType.JSON));}//提交请求client.bulk(request,

RequestOptions.DEFAULT);pageNo;}}AfterEachvoid

tearDown()

parseResponseResult(SearchResponse

response)

hits.getTotalHits().value;System.out.println(total

total);for

hit.getSourceAsString();//封装itemDocItemDoc

doc

ItemDoc.class);//处理高亮字段MapString,

HighlightField

hfs.get(name);//用获取到的高亮值覆盖原来非高亮的字段值String

hfName

hf.getFragments()[0].toString();doc.setName(hfName);}System.out.println(doc

testMatchAll()

SearchRequest(items);//组织DSL查询参数request.source().query(QueryBuilders.matchAllQuery());//发送请求SearchResponse

response

RequestOptions.DEFAULT);//解析结果parseResponseResult(response);}//根据条件查询复合查询Testvoid

testSearch()

SearchRequest(items);//组织DSL查询参数request.source().query(QueryBuilders.boolQuery().must(QueryBuilders.matchQuery(name,

脱脂牛奶)).filter(QueryBuilders.termQuery(brand,

德亚)).filter(QueryBuilders.rangeQuery(price).lt(30000)));//发送请求SearchResponse

response

RequestOptions.DEFAULT);//解析结果parseResponseResult(response);}//分页排序Testvoid

testPageAndSort()

2.1.搜索条件参数request.source().query(QueryBuilders.matchQuery(name,

脱脂牛奶));//

2.2.排序参数request.source().sort(price,

SortOrder.ASC);//

2.3.分页参数request.source().from((pageNo

3.发送请求SearchResponse

4.解析响应parseResponseResult(response);}//根据条件获取高亮数据Testvoid

testHighlight()

SearchRequest(items);//组织DSL查询参数//query条件request.source().query(QueryBuilders.matchQuery(name,

脱脂牛奶));//高亮条件request.source().highlighter(SearchSourceBuilder.highlight().field(name));//发送请求SearchResponse

response

RequestOptions.DEFAULT);//解析结果parseResponseResult(response);}//数据聚合Testvoid

testAgg()

SearchRequest(items);//组织DSL查询参数//query条件request.source().size(0);//聚合条件String

brandAggName

brandAgg;request.source().aggregation(AggregationBuilders.terms(brandAggName).field(brand).size(10));//发送请求SearchResponse

response

RequestOptions.DEFAULT);//解析结果Aggregations

aggregations

response.getAggregations();//根据聚合名称获取聚合Terms

aggTerms

aggregations.get(brandAggName);//获取bucketsList?

extends

aggTerms.getBuckets();//遍历每一个bucketfor

(Terms.Bucket

{System.out.println(brand:bucket.getKeyAsString());System.out.println(count:bucket.getDocCount());}}BeforeEachvoid

setUp()

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.181.32:9200)));}AfterEachvoid

tearDown()