一致性高可以用于事务操作但是随着数据量的增加查询的速度也会随之降低并且其扩展能力有限因此在日志记录和查询等场景下MySQL就显得力不从心为了解决对海量数据的搜索、分析和计算引入ES(ElasticSearch)搜索引擎。

对于IOT领域记录设备的控制日志非常的有必要对于客诉排查或者之后的数据分析起着很重要的作用假如共有100w的设备一天控制5次那一年的数据

100w

亿因此为了更为较好地存储和查询数据对于这种大量增加的数据建议用es来存储。

ES使用

接下来就介绍一下如何利用SpringBoot框架联合es存储和查询数据。

首先引入依赖

dependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-data-elasticsearch/artifactIdversion2.7.4/version

/dependency通过引入依赖之后就可以使用SpringBoot提供的ElasticsearchRestTemplate模版类在该类中有着很多方法很方便使用。

配置文件配置es连接

8080spring:elasticsearch:rest:uris:

username:

6000接着在使用的地方注入ElasticsearchRestTemplate

Autowired

elasticsearchRestTemplate;保存数据使用es提供save方法

elasticsearchRestTemplate.save(saveBO,

getIndex()

}在save方法中共有两个入参第一个参数就是自己想存储的数据里面的字段根据业务自定义第二参数就是定义一个在es中的索引其索引就像MySQL中的表名字。

public

(!StringUtil.isEmpty(queryParam.getApplianceId()))

{queryBuilder.filter(QueryBuilders.termQuery(applianceId.keyword,

queryParam.getApplianceId()));}//

(queryParam.getOperateBeginDate()

null

{queryBuilder.filter(QueryBuilders.rangeQuery(operateDate).timeZone(Asia/Shanghai)

.gte(queryParam.getOperateBeginDate()).lte(queryParam.getOperateEndDate()));}//

实现查询条件组装设置分页中的起始页和每页大小。

NativeSearchQuery

nativeSearchQuery

NativeSearchQueryBuilder().withQuery(queryBuilder).withPageable(PageRequest.of(queryParam.getPageNo(),

queryParam.getPageSize())).withSorts(SortBuilders.fieldSort(operateDate).order(SortOrder.DESC)).build();//

使用elasticsearchRestTemplate.search查询数据SearchHitsQueryResult

search

elasticsearchRestTemplate.search(nativeSearchQuery,

QueryResult.class,

提取其中的数据提出存储的数据QueryResultListQueryResult

list

search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());

}在查询方法中首先使用BoolQueryBuilder来构建查询的条件在代码中使用设备id和时间进行过滤使用NativeSearchQueryBuilder构建好查询条件、分页和降序排序接着使用elasticsearchRestTemplate.search()查询结果最后使用search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList())对查询的结果进行提取。

通过以上的步骤就可以使用es存储和查询数据其中elasticsearchRestTemplate集成度高只需定义好入参和出参即可其他基本都是模块化操作非常简单方便。

知道了如何使用其里面的原理也需要了解下有机会再探索下。