3.1.文档和字…

的作用1.1.2.ELK技术栈1.1.3.Elasticsearch

Lucene1.1.4.为什么不是其他搜索技术1.1.5.总结

1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排

1.3.Elasticsearch

的一些概念1.3.1.文档和字段1.3.2.索引和映射1.3.3.MySQL

Elasticsearch

CRUD2.2.1.创建索引库和映射2.2.2.查询索引库2.2.3.修改索引库2.2.4.删除索引库2.2.5.总结

3.文档操作3.1.新增文档3.2.查询文档3.3.删除文档3.4.修改文档3.4.1.全量修改3.4.2.增量修改

3.5.总结

工程4.1.1.导入数据4.1.2.导入项目4.1.3.mapping

映射分析4.1.4.初始化

操作文档5.1.新增文档5.1.1.索引库实体类5.1.2.语法说明5.1.3.完整代码

5.3.删除文档5.4.修改文档5.4.1.语法说明5.4.2.完整代码

5.6.小结

是一款非常强大的开源搜索引擎具备非常多强大功能可以帮助我们从海量数据中快速找到需要的内容。

例如

GitHub

年研发。

官网地址https://lucene.apache.org/

2004

一个开源的分布式搜索引擎可以用来实现搜索、日志统计、分析、系统监控等功能

stack

Beats、Logstash、Kibana、Elasticsearch

Lucene

逐行扫描也就是全表扫描随着数据量增加其查询效率也会越来越低。

当数据量达到数百万时就是一场灾难。

1.2.2.倒排索引

文档Document用来搜索的数据其中的每一条数据就是一个文档。

例如一个网页、一个商品信息。

词条Term对文档数据或用户搜索数据利用某种算法分词得到的具备含义的词语就是词条。

例如我是中国人就可以分为我、是、中国人、中国、国人这样的几个词条。

将每一个文档的数据利用算法分词得到一个个词条创建表每行数据包括词条、词条所在文档

hash

虽然要先查询倒排索引再查询倒排索引但是无论是词条、还是文档id都建立了索引查询速度非常快无需全表扫描。

1.2.3.正向和倒排

索引的方式。

但根据词条查询时必须先逐条获取每个文档然后判断文档中是否包含所需要的词条是根据文档找词条的过程。

而倒排索引则相反是先找到用户要搜索的词条根据词条得到保护词条的文档的

id然后根据

(Document)**存储的可以是数据库中的一条商品数据一个订单信息。

文档数据会被序列化为

JSON

所有用户文档就可以组织在一起称为用户的索引所有商品的文档可以组织在一起称为商品的索引所有订单的文档可以组织在一起称为订单的索引

数据库的表会有约束信息用来定义表的结构、字段的名称、类型等信息。

因此索引库中就有映射

(mapping)是索引中文档的字段约束信息类似表的结构约束。

1.3.3.MySQL

MySQLElasticsearch说明TableIndex索引

(table)RowDocument文档

(Column)SchemaMappingMapping映射是索引中文档的约束例如字段类型约束。

类似数据库的表结构

(Schema)SQLDSLDSL

MySQL擅长事务类型操作可以确保数据的安全和一致性Elasticsearch擅长海量数据的搜索、分析、计算

Elasticsearch

Elasticsearch因此可以先参考https://www.bilibili.com/video/BV1Zn4y1X7AZ?p6这一视频教程来安装

Kibana

es-data:/usr/share/elasticsearch/data

\-v

es-plugins:/usr/share/elasticsearch/plugins

\--privileged

cluster.namees-docker-cluster设置集群名称-e

ES_JAVA_OPTS-Xms512m

discovery.typesingle-node非集群模式-v

es-data:/usr/share/elasticsearch/data挂载逻辑卷绑定es的数据-v

es-plugins:/usr/share/elasticsearch/plugins挂载逻辑卷绑定es的插件目录--privileged授予逻辑卷访问权--network

es-net

在浏览器中输入http://192.168.101.65:9200即

Linux

ELASTICSEARCH_HOSTShttp://es:9200

--networkes-net

ELASTICSEARCH_HOSTShttp://es:9200设置

Elasticsearch

此时在浏览器输入地址访问http://192.168.101.65:5601即可看到结果

DevTools

https://github.com/medcl/elasticsearch-analysis-ik。

1.5.1.在线安装

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip#退出

exit

2022-05-06T10:06:3408:00,Driver:

local,Labels:

/var/lib/docker/volumes/es-plugins/_data,Name:

es-plugins,Options:

/var/lib/docker/volumes/es-plugins/_data

4重启容器

随着互联网的发展“造词运动”也越发的频繁。

出现了很多新的词语在原有的词汇列表中并不存在。

比如“奥力给”“传智播客”

1打开

http://java.sun.com/dtd/properties.dtd

propertiescommentIK

扩展配置/comment!--用户可以在这里配置自己的扩展字典

***

ik_smart智能切分粗粒度ik_max_word最细切分细粒度

1IK

字符串text可分词的文本、keyword精确值例如品牌、国家、IP

地址数值long、integer、short、byte、double、float、布尔boolean日期date对象object

trueanalyzer使用哪种分词器properties该字段的子字段

json文档

false无需分词器score虽然是数组但是我们只看元素的类型类型为

float参与搜索因此需要

为true无需分词器name.lastName类型为字符串但是不需要分词因此是

keyword参与搜索因此需要

请求方式PUT请求路径/索引库名可以自定义请求参数mapping

PUT

1倒排索引结构虽然不复杂但是一旦数据结构改变比如改变了分词器就需要重新创建倒排索引这简直是灾难。

因此索引库一旦创建无法修改

mapping

Elasticsearch。

官方文档地址https://www.elastic.co/docs。

其中的

Java

字段名字段数据类型是否参与搜索是否需要分词如果分词分词器是什么

字段名、字段数据类型可以参考数据表结构的名称和类型是否参与搜索要分析业务来判断例如图片地址就无需参与搜索是否分词呢要看内容内容如果是一个整体就无需分词反之则要分词分词器我们可以统一使用

ik_max_word

location地理坐标里面包含精度、纬度all一个组合字段其目的是将多字段的值利用

copy_to

dependencygroupIdorg.elasticsearch.client/groupIdartifactIdelasticsearch-rest-high-level-client/artifactIdversion7.12.1/version

/dependency2因为

propertieselasticsearch.version7.12.1/elasticsearch.version

/properties3初始化RestHighLevelClient初始化的代码如下

RestHighLevelClient

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.150.101:9200)

BeforeEach

org.elasticsearch.client.RestHighLevelClient;

import

org.elasticsearch.client.RestClient;

import

org.junit.jupiter.api.AfterEach;

import

org.junit.jupiter.api.BeforeEach;

import

org.junit.jupiter.api.Test;import

public

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.101.65:9200)));}AfterEachvoid

tearDown()

org.elasticsearch.client.RestHighLevelClient3fb6cf604.2.创建索引库

4.2.1.代码解读

MAPPING_TEMPLATE让代码看起来更加优雅。

3发送请求client.indices()

IndicesClient

cn.itcast.hotel.constants;public

class

1.创建Request对象CreateIndexRequest

request

2.准备请求的参数DSL语句request.source(MAPPING_TEMPLATE,

3.发送请求client.indices().create(request,

}4.3.删除索引库

1.创建Request对象DeleteIndexRequest

request

2.发送请求client.indices().delete(request,

}有关

client.indices().exists(request,

索引库已经存在

RestHighLevelClient#indices().xxx()

5.RestClient

RestHighLevelClient我们的酒店数据在数据库需要利用

IHotelService

cn.itcast.hotel.service.IHotelService;

import

org.junit.jupiter.api.AfterEach;

import

org.junit.jupiter.api.BeforeEach;

import

org.springframework.beans.factory.annotation.Autowired;

import

org.springframework.boot.test.context.SpringBootTest;import

java.io.IOException;

RestHighLevelClient(RestClient.builder(HttpHost.create(http://192.168.150.101:9200)));}AfterEachvoid

tearDown()

location。

因此我们需要定义一个新的类型与索引库结构吻合

package

hotel.getStarName();this.business

hotel.getBusiness();this.location

hotel.getLatitude()

hotelService.getById(61083L);//

2.转换为文档类型HotelDoc

IndexRequest(hotel).id(hotelDoc.getId().toString());//

5.准备

response.getSourceAsString();HotelDoc

hotelDoc

HotelDoc.class);System.out.println(hotelDoc);

}输出结果如下

pichttps://m.tuniucdn.com/fb3/s1/2n9c/312e971Rnj9qFyR3pPv4bTtpj1hX_w200_h200_c1_t0.jpg)5.3.删除文档

DSL

对象这次是修改所以是UpdateRequest2准备参数也就是

JSON

2.准备请求参数即要更新的字段request.doc(price,

952,starName,

RequestOptions.DEFAULT);}需要注意的是由于此处并未考虑数据库的同步因此此时数据库中的对应的数据并未发生变化。

5.5.批量导入文档

IndexRequest也就是新增UpdateRequest也就是修改DeleteRequest也就是删除

Bulk

2.2.创建新增文档的Request对象request.add(new

IndexRequest(hotel).id(hotelDoc.getId().toString()).source(JSON.toJSONString(hotelDoc),

}使用

Index、Get、Update、Delete、Bulk准备参数Index、Update、Bulk

方法xxx

index、get、update、delete、bulk解析结果Get

时需要