。

由于传感器每秒都会像mongo数据库存500条左右的数据#xff0c;1天就有4320万条数据#xff0c;要想按照时间条件去查询#xff0c;…前言

因为项目需要把传感器的数据保存起来当时设计的时是mongo来存储后期需要从mongo

DB里查询传感器的数据记录。

由于传感器每秒都会像mongo数据库存500条左右的数据1天就有4320万条数据要想按照时间条件去查询经常会被卡死。

以下是我的解决过程和方案。

解决方案

将不同不同传感器的数据分别存入不同的表集合中这样每个表的数据就成倍减少但是过了一段时间发现查询嗨是很慢每个传感器每秒需要保存的数据也有100条左右一天就是864万条数据。

仅靠类型分表是不行的。

按照日期分表

每个表每天的数据有864万条数据一个月就是2.6亿条数据。

于是按照日期每天对每个传感器类型建设了一个表

表集合名格式如

(CollectionUtil.isNotEmpty(batchToSave))

{mongoTemplate.insert(batchToSave,

collectionNameSharding);}}DateUtil.today()

DateUtil.format(new

Date(),“yyyyMMdd”)注意请保证每个传入的对象里都有一个createTime字段查询的时候会用到

public

collectionName_DateUtil.format(start,yyyyMMdd);//

设置时间范围查询条件Criteria

Criteria.where(createTime).gte(start).lte(end);//

查询数据return

mongoTemplate.find(Query.query(criteria).limit(1000).skip(0),

entityClass,collectionNameSharding);}代码中的

.limit(1000)

表示限制查询结果的数量即最多返回1000条匹配的文档记录。

这对于分页查询或者批量处理数据时非常有用可以避免一次性加载过多数据导致内存溢出或响应延迟。

.skip(0)

则表示跳过前0条匹配的文档记录从第一条开始返回。

在分页查询场景下如果你想获取第二页的数据通常会将skip的参数设置为每页大小假设也是1000即

.skip(1000)这样就会跳过前1000条然后取接下来的1000条数据。

经过以上操作查询数据的时候不会被卡顿了但是查询速度需要2s左右,项目需求查询速度至少得在200ms内所以还得继续优化。

建立索引

因为mongo水平分表的缘故不可能人工去对每个字段创建的表集合去建立时间索引需要代码实现创建表的同时自动创建时间索引。

修改分表数据保存方法如下

(!mongoTemplate.collectionExists(collectionNameSharding))

{mongoTemplate.createCollection(collectionNameSharding);IndexOperations

indexOps

mongoTemplate.indexOps(collectionNameSharding);indexOps.ensureIndex(new

Sort.Direction.ASC).named(collectionNameSharding_createTime));}if

(CollectionUtil.isNotEmpty(batchToSave))

{mongoTemplate.insert(batchToSave,

collectionNameSharding);}}named(collectionNameSharding“_createTime”))

Sort.Direction.ASC)

经过以上水平分表和建立索引的方法按照时间条件去查询的方法已经可以优化到200ms左右了。

本篇教程到此未知如果觉得不错记得一键三连感谢各位的支持