引2、Type类型3、Document文档4、倒排索引机制4.1

正向索引和倒排索引4.2

二、Docker安装ES1、下载镜像文件2、创建实例1、ElasticSearch2、Kibana

三、初步检索1、_cat2、索引一个文档保存3、查询文档4、更新文档5、删除文档索引6、bulk

API7、样本测试数据

领域特定语言)1、基本语法格式2、返回部分字段3、match【匹配查询】4、match_phrase【短语匹配】5、multi_match【多字段匹配】6、bool【复合查询】7、filter【结果过滤】8、term

4、分词1、安装

分词器2、测试分词器3、调整虚拟机内存大小4、安装nginx5、自定义词库

五、Elasticsearch-Rest-Client1、Rest客户端选型1、9300TCP2、9200HTTP

2、创建检索服务3、SpringBoot

https://www.elastic.co/cn/what-is/elasticsearch

Elastic

官方文档https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

官方中文https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html

社区中文

https://es.xiaoleilu.com/index.html

http://doc.codingdict.com/elasticsearch/0/

Elasticsearch

保存在某个索引Index下某种类型Type的一个数据Document文档是

JSON

正向索引与倒排索引这是在搜索领域中非常重要的两个名词正向索引通常用于数据库中在搜索引擎领域使用的最多的就是倒排索引我们根据如下两个网页来对这两个概念进行阐述

html1

假设我们使用mysql的全文检索会对如上两句话分别进行分词处理那么预计得到的结果如下

爱编程

这个关键词如果有则加入到结果集中第二句话也是如此。

假设现在有成千上百个网页每个网页非常非常的分词那么搜索的效率将会非常非常低些。

4.3

倒排索引是按照分词与文档进行映射我们来看看如果按照倒排索引的效果

这个词那么会直接找到关键词中查找到

https://www.elastic.co/cn/start

Kibana

https://www.elastic.co/cn/start

Logstash

https://www.elastic.co/cn/downloads/logstash

3.1

它为用户提供了一个工具用于在存储于Elasticsearch集群中的日志数据进行检索可视化和构建仪表板。

Kibana的核心功能是数据查询和分析。

使用各种方法用户可以搜索Elasticsearch中索引的数据以查找其数据中的特定事件或字符串以进行根本原因分析和诊断。

基于这些查询用户可以使用Kibana的可视化功能允许用户使用图表表格地理图和其他类型的可视化以各种不同的方式可视化数据。

3.2

Logstash是一个开源的服务器端数据处理管道可以同时从多个数据源获取数据并对其进行转换然后将其发送到你最喜欢的“存储”。

创建于2009年于2013年被elasticsearch收购。

二、Docker安装ES

/mydata/elasticsearch/config/elasticsearch.yml

chmod

/mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

/mydata/elasticsearch/data:/usr/share/elasticsearch/data

/mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins

elasticsearch:7.4.2以后再外面装好插件重启即可

特别注意

ES生产环境也需要指定一下初始内存和最大内容要不然会全部占用服务器的内存。

logs

ELASTICSEARCH_HOSTShttp://192.168.56.10:9200

5601:5601

kibana:7.4.2http://192.168.56.10:9200

三、初步检索

action动作。

如果一个单个的动作因任何原因而失败它将继续处理它后面剩余的动作。

当

bulk

返回时它将提供每个动作的状态与发送的顺序相同所以您可以检查是否一个指定的动作是不是失败了。

7、样本测试数据

}https://github.com/elastic/elasticsearch/blob/master/docs/src/test/resources/accounts.json?rawtrue

导入测试数据

bank/_search?q*sortaccount_number:asc

请求参数方式检索

DSL。

该查询语言非常全面并且刚开始的时候感觉有点复杂真正学好它的方法是从一些基础的示例开始的。

一个查询语句

排序多字段排序会在前序字段相等时后续字段内部排序否则以前序为准

2、返回部分字段

当搜索字符串类型的时候会进行全文检索并且每条记录有相关性得分。



字符串多个单词分词全文检索

的所有记录并给出相关性得分4、match_phrase【短语匹配】

GET

的所有记录并给出相关性得分5、multi_match【多字段匹配】

GET

其它查询语句包括复合语句了解这一点是很重要的。

这就意味着复合语句之间可以互相嵌套可以表达非常复杂的逻辑。

must必须达到

聚合提供了从数据中分组和提取数据的能力。

最简单的聚合方法大致等于

SQL

您可以执行查询和多个聚合并且在一次使用中得到各自的任何一个的返回结果使用一次简洁和简化的

API

是用来定义一个文档document以及它所包含的属性field是如何存储和索引的。

比如使用

mapping

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html

3、新版本改变

关系型数据库中两个数据表示是独立的即使他们里面有相同名称的列也不影响使用

Lucene

2、将已存在的索引下的类型数据全部迁移到指定位置即可。

详见数据迁移

1、创建映射

对于已经存在的映射字段我们不能更新。

更新必须创建新的索引进行数据迁移

4、数据迁移

https://github.com/medcl/elasticsearch-analysis-ik/releases?afterv6.4.2

版本安装

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-anal

ysis-ik-7.4.2.zip

list即可列出系统的分词器因为容器里面只有核心的软件因此没有wget,可以直接去外面的安装wget,在外面下载wget,最好不要在容器里面下载增加容器内容。

yum

能够看出不同的分词器分词有明显的区别所以以后定义一个索引不能再使用默认的

mapping

/mydata/nginx/html:/usr/share/nginx/html

/mydata/nginx/logs:/var/log/nginx

nginx:1.10去nginx外部挂载目录,html下创建index.html,编写html页面请求就能够默认展示说明nginx是ok的。

nginx会自动默认访问html文件夹下面的内容默认访问index.html页面因此请求http://192.168.56.10:80就是请求http://192.168.56.10/index.html80是默认端口含不展示

在nginx下面的html文件夹下面创建es文件夹有关的es文件就放到里面给

nginx

http://192.168.56.10/es/fenci.txt

5、自定义词库

修改/usr/share/elasticsearch/plugins/ik/config/中的

IKAnalyzer.cfg.xml

/usr/share/elasticsearch/plugins/ik/config

?xml

http://java.sun.com/dtd/properties.dtd

properties

keyremote_ext_dicthttp://192.168.128.130/fenci/myword.txt/entry

!--

keyremote_ext_stopwordswords_location/entry

/properties

http://java.sun.com/dtd/properties.dtd

properties

keyremote_ext_dictwords_location/entry

!--

keyremote_ext_stopwordswords_location/entry

nginx

发布静态资源,按照请求路径创建对应的文件夹以及文件放在nginx

html

只会对新增的数据用新词分词。

历史数据是不会重新分词的。

如果想要历史数据重新分词。

需要执行

POST

my_index/_update_by_query?conflictsproceed

1、Rest客户端选型

spring-data-elasticsearch:transport-api.jar

springboot

Elasticsearch-Rest-Clientelasticsearch-rest-high-level-client

https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high.html

2、创建检索服务

groupIdorg.elasticsearch.client/groupId

artifactIdelasticsearch-rest-high-level-client/artifactId

version7.4.2/version

/dependency发现其中的依赖有6.4.3版本因为我们是spring-boot下spring-boot-dependencies对es也做了版本管理

4、配置

System.out.println(request.toString());

IndexResponse