Elasticsearch

是一个为海量数据提供近实时搜索和分析能力的分布式搜索引擎广泛应用于全文检索、日志分析和大数据处理场景中。

Elasticsearch

Mapping建索引,相当于创建一个逻辑的数据容器用于存放文档。

Mapping定义索引中字段的数据类型、分词器、是否索引等属性类似数据库的

mappingES

Filters生成词项tokens。

对每个词项建立倒排索引记录词项在哪些文档中出现以及出现频率、位置等信息。

文档数据会被存储在主分片Primary

Shard及其副本分片Replica

Shard中保证数据高可用。

写操作异步刷新到磁盘提高写入性能。

查询流程查询请求发到集群的某个节点协调节点。

协调节点根据索引的分片信息将查询请求广播到所有相关的主分片和副本分片。

对查询语句进行解析针对查询字段使用对应的分词器分词如

match

算法等排序。

各分片返回结果给协调节点。

协调节点合并各分片结果进行排序分页返回最终结果给客户端。

在理解倒排索引之前先看一下正排索引。

正排索引是从“文档到词”的映射也就是说每个文档记录了它包含的所有词。

而倒排索引则是相反的它是从“词到文档”的映射即每个词会记录它出现在哪些文档中。

当我们搜索一个词时只需通过倒排索引快速定位所有包含该词的文档而不需要对所有文档内容进行全文扫描大大提升了搜索性能。

此外倒排索引还可以记录每个词在各个文档中出现的频率、位置等信息用于相关性打分如

BM25

算法从而实现搜索结果的排序和精准匹配。

因此倒排索引非常适合实现高性能的全文搜索是搜索引擎如

Elasticsearch

product_index每条商品数据就是一个文档包含商品名、描述、价格等字段然后通过这个索引来实现搜索和过滤。

schema

来定义文档结构包括字段名、字段类型、是否索引、是否分词等规则相当于定义表的结构。

PUT

Schema它定义了每个文档字段的数据类型、是否分词、是否索引、分词器、是否支持聚合等规则。

不同于数据库ES

更加灵活比如可以支持嵌套结构、数组、动态字段还能定义全文检索相关的分词方式是搜索性能调优的重要部分。

match

类型的查询它会对查询条件先进行分词然后再去倒排索引中查找对应的文档常用于搜索

text

来对文本字段进行处理分词器会将一段文本拆分为一个个词项term并进行标准化例如大小写转换、去除符号、删除停用词等。

分词器一般包含三个组件

Filters对分词结果进行加工比如大小写统一、去除停用词、同义词处理等。

常用分词器

1.standard:默认分词器按空格、标点分词同时做大小写标准化

learning

通常每个主分片至少配置一个副本从而保证当某个节点宕机时数据不会丢失并且查询时可以由多个分片并行处理提升性能。

主分片负责写入副本分片负责高可用和查询负载分担主分片挂了副本可以自动转为主分片保障数据可靠性。

Elasticsearch

当某个节点宕机时集群会自动将其主分片由副本接管并在其他节点上重新构建副本从而实现无缝切换保证查询和写入的连续性。

同时Master

节点也有选举机制避免单点故障整个集群能自动感知变化并自我修复。

节点挂掉会发生什么

查询和写入请求会自动路由到新的主分片或其副本不会影响业务使用。

yellow

业务系统将数据变更事件发送到消息队列Kafka、RabbitMQ

定时全量同步

定时全量同步是指周期性比如每天凌晨将数据库中的所有数据一次性批量导入

Elasticsearch。

目的是初始化数据或修复数据不一致问题。

增量同步是指只同步自上次同步后数据库中新增加或变更的数据。

可以通过基于业务表的时间戳字段如

update_time进行差量查询使用数据库变更日志binlog捕获变更事件监听消息队列中实时数据变更事件来实现增量同步。