elasticsearch结合kibana、Logstash、Beats#xff0c;也就是elastic

stack(ELK)。

被广泛应用在日志数据分析、实时监控等领域…初识elasticsearch

elasticsearch是一款非常强大的开源搜索引擎可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats也就是elastic

stack(ELK)。

被广泛应用在日志数据分析、实时监控等领域。

Lucene是一个Java语言的搜索引擎类库是Apache公司的顶级项目由DougCutting于1999年研发。

官网地址:

易扩展高性能(基于倒排索引)

Banon重写了Compass取名为Elasticsearch。

官网地址:

https://www.elastic.co/cn/目前最新的版本是:8.7.0

为什么学习elasticsearch?

Elasticsearch:开源的分布式搜索引擎Splunk:商业项目Solr:

系统监控等功能

是以elasticsearch为核心的技术栈包括beats、Logstash、kibana、elasticsearch

正向索引和倒排索引

传统数据库如MySQL采用正向索引例如给下表(tb_goods中的id创建索引:

elasticsearch采用倒排索引:

对文档内容分词对词条创建索引并记录词条所在文档的信息。

查询时先根据词条查询到文档id而后获取到文档

elasticsearch是面向文档存储的可以是数据库中的一条商品数据一个订单信息。

文档数据会被序列化为json格式后存储在elasticsearch中。

索引(lndex)

文档:一条数据就是一个文档es中是Json格式字段:Json文档中的字段索引:同类型文档的集合映射:索引中文档的约束比如字段名称、类型

数据库负责事务类型操作elasticsearch负责海量数据的搜索、分析、计算

1.部署单点es

因为我们还需要部署kibana容器因此需要让es和kibana容器互联。

这里先创建一个网络

docker

这里我们采用elasticsearch的7.12.1版本的镜像这个镜像体积非常大接近1G。

不建议大家自己pull。

将镜像上传到虚拟机中然后运行命令加载即可

导入数据

es-data:/usr/share/elasticsearch/data

\-v

es-plugins:/usr/share/elasticsearch/plugins

\--privileged

cluster.namees-docker-cluster设置集群名称-e

ES_JAVA_OPTS-Xms512m

discovery.typesingle-node非集群模式-v

es-data:/usr/share/elasticsearch/data挂载逻辑卷绑定es的数据-v

es-plugins:/usr/share/elasticsearch/plugins挂载逻辑卷绑定es的插件目录--privileged授予逻辑卷访问权--network

es-net

kibana可以给我们提供一个elasticsearch的可视化界面便于我们学习。

2.1.部署

ELASTICSEARCH_HOSTShttp://es:9200

--networkes-net

加入一个名为es-net的网络中与elasticsearch在同一个网络中-e

ELASTICSEARCH_HOSTShttp://es:9200设置elasticsearch的地址因为kibana已经与elasticsearch在一个网络因此可以用容器名直接访问elasticsearch-p

5601:5601端口映射配置

此时在浏览器输入地址访问http://ip地址:5601即可看到结果

2.2.DevTools

这个界面中可以编写DSL来操作elasticsearch。

并且对DSL语句有自动补全功能。

分词器

es在创建倒排索引时需要对文档分词;在搜索时需要对用户输入内容分词。

但默认的分词规则对中文处理并不友好。

我们在kibana的DevTools中测试:

测试分词器

POST:请求方式/_analyze:请求路径这里省略了http://192.168.150.101:9200有kibana帮我们补充请求参数json风格:

analyzer:分词器类型这里是默认的standard分词器text:要分词的内容

处理中文分词一般会使用IK分词器。

https://github.com/medcl/elasticsearch-analysis-ik

安装IK分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip#退出

exit

安装插件需要知道elasticsearch的plugins通过下面命令查看:

docker

2023-04-29T04:11:4908:00,Driver:

local,Labels:

/var/lib/docker/volumes/es-plugins/_data,Name:

es-plugins,Options:

也就是/var/lib/docker/volumes/es-plugins/_data

4重启容器

要拓展ik分词器的词库只需要修改一个ik分词器中的IKAnalyzer.cfg.xml文件:

?xml

http://java.sun.com/dtd/properties.dtd

propertiescommentIK

扩展配置/comment!--用户可以在这里配置自己的扩展字典

--entry

/properties然后在名为ext.dic的文件中添加想要拓展的词语即可:

鸡你太美

要禁用某些敏感词条只需要修改一个ik分词器中的IKAnalyzer.cfg.xml文件:

?xml

http://java.sun.com/dtd/properties.dtd

propertiescommentIK

扩展配置/comment!--用户可以在这里配置自己的扩展字典

--entry

keyext_dictext.dic/entry!--用户可以在这里配置自己的扩展停止词字典--entry

keyext_stopwordsstopword./entry

/properties然后在名为stopword.dic的文件中添加想要拓展的词语即可:

啊索引库操作

mapping是对索引库中文档的约束常见的mapping属性包括:

字符串:

(可分词的文本)、keyword精确值例如:品牌、国家、ip地址)数值:long、integer、short、byte、double、float布尔:

index:是否创建索引默认为trueanalyzer:使用哪种分词器properties:该字段的子字段

创建索引库

ES中通过Restful请求操作索引库、文档。

请求内容用DSL语句来表示。

创建索引库和mapping的DSL语法如下:

{mappings:

索引库和mapping一旦创建无法修改但是可以添加新的字段语法如下:

PUT/索引库名/

ES官方提供了各种不同语言的客户端用来操作ES。

这些客户端的本质就是组装DSL语句通过http请求发送给ES。

官方文档地址:

https://www.elastic.co/guide/en/elasticsearch/client/index.html

利用JavaRestClient实现创建、删除索引库判断索引库是否存在

根据课前资料提供的酒店数据创建索引库索引库名为hotelmapping属性根据数据库结构定义。

基本步骤如下:

字段名、数据类型、是否参与搜索、是否分词、如果分词分词器是什么?

ES中支持两种地理坐标数据类型:

longitude确定的一个点。

例如:“32.8752345,120.2981576”geo_shape:有多个geo_point组成的复杂几何图形。

例如一条直线

“LINESTRING

字段拷贝可以使用copy_to属性将当前字段拷贝到指定字段。

示例:

all:

dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactIdversion7.12.1/version

/dependency因为SpringBoot默认的ES版本是7.6.2所以我们需要覆盖默认的ES版本:

propertiesjava.version1.8/java.versionelasticsearch.version7.12.1/elasticsearch.version

/properties初始化RestHighLevelClient:

package

org.elasticsearch.client.RestClient;

import

org.elasticsearch.client.RestHighLevelClient;

import

org.junit.jupiter.api.AfterEach;

import

org.junit.jupiter.api.BeforeEach;

import

org.junit.jupiter.api.Test;import

class

{System.out.println(client);}BeforeEachvoid

setUp()

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.5.131:9200)));}AfterEachvoid

tearDown()

cn.itcast.hotel.constants;public

class

{//1.创建Request对象CreateIndexRequest

request

CreateIndexRequest(hotel);//2.准备请求的参数:DSL语句request.source(MAPPING_TEMPLATE,

XContentType.JSON);//3.发送请求client.indices().create(request,

Test

{//1.创建Request对象DeleteIndexRequest

request

DeleteIndexRequest(hotel);//2.发送请求client.indices().delete(request,

Test

{//1.创建Request对象GetIndexRequest

request

GetIndexRequest(hotel);//2.发送请求boolean

exists

client.indices().exists(request,

RequestOptions.DEFAULT);//3.输出System.err.println(exists?索引库已经存在

索引库不存在);

去数据库查询酒店数据导入到hotel索引库实现酒店数据的CRUD。

基本步骤如下:

初始化JavaRestClient

新建一个测试类实现文档相关操作并且完成JavaRestClient的初始化

public

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.5.131:9200)));}AfterEachvoid

tearDown()

hotelService.getById(61083L);//转换为文档类型HotelDoc

hotelDoc

HotelDoc(hotel);//1.准备Request对象IndexRequest

request

IndexRequest(hotel).id(hotel.getId().toString());//2.准备Json文档request.source(JSON.toJSONString(hotelDoc),

XContentType.JSON);//3.发送请求client.index(request,

根据id查询到的文档数据是json需要反序列化为java对象:

Test

RequestOptions.DEFAULT);//3.解析结果String

json

response.getSourceAsString();HotelDoc

hotelDoc

HotelDoc.class);System.out.println(hotelDoc);

修改文档数据有两种方式:

方式一:全量更新。

再次写入id一样的文档就会删除旧文档添加新文档(同新增)

Test

利用mybatis-plus查询酒店数据将查询到的酒店数据(Hotel)转换为文档类型数据HotelDoc)利用JavaRestClient中的Bulk批处理实现批量新增文档

Test

HotelDoc(hotel);//创建新增文档的Request对象request.add(new

IndexRequest(hotel).id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc),

DeleteRequest

案例2利用JavaRestClient**批量导入**酒店数据到ES需求:批量查询酒店数据然后批量导入索引库中

思路:1.

将查询到的酒店数据(Hotel)转换为文档类型数据HotelDoc)

利用JavaRestClient中的Bulk批处理实现批量新增文档java

Test

HotelDoc(hotel);//创建新增文档的Request对象request.add(new

IndexRequest(hotel).id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc),