非流式查询和流式查询区别

在实际工作中当指定查询数据过大时我们一般使用分页查询的方式一页一页的将数据放到内存处理。

但有些情况不需要分页的方式查询数据或分很大一页查询数据时如果一下子将数据全部加载出来到内存中很可能会发生OOM(内存溢出)而且查询会很慢因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象实体类。

举例在业务系统需要从

默认情况下完整的检索结果集会将其存储在内存中。

在大多数情况下这是最有效的操作方式并且由于

MySQL

QueryWrapperBigDataSearchEntity

该方式比较简单如果在不考虑

深分页优化情况下估计你的数据库服务器就噶皮了或者你能等上几十分钟或几小时甚至几天时间检索数据。

流式查询

流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器应用每次从迭代器取一条查询结果。

流式查询的好处是能够降低内存使用。

如果没有流式查询我们想要从数据库取

条记录而又没有足够的内存时就不得不分页查询而分页查询效率取决于表设计如果设计的不好就无法执行高效的分页查询。

因此流式查询是一个数据库访问框架必须具备的功能。

MyBatis

但在流式查询的过程当中数据库连接是保持打开状态的因此要注意的是

执行一个流式查询后数据库访问框架就不负责关闭数据库连接了需要应用在取完数据后自己关闭。

必须先读取或关闭结果集中的所有行然后才能对连接发出任何其他查询否则将引发异常。

MyBatis

org.apache.ibatis.cursor.Cursor

java.io.Closeable

使用流式查询则要保持对产生结果集的语句所引用的表的并发访问因为其查询会独占连接所以必须尽快处理。

为什么要用流式查询

如果有一个很大的查询结果需要遍历处理又不想一次性将结果集装入客户端内存就可以考虑使用流式查询

分库分表场景下单个表的查询结果集虽然不大但如果某个查询跨了多个库多个表又要做结果集的合并、排序等动作依然有可能撑爆内存详细研究了sharding-sphere的代码不难发现除了group

by与order

by字段不一样之外其他的场景都非常适合使用流式查询可以最大限度的降低对客户端内存的消耗。

游标查询

对大量数据进行处理时为防止内存泄漏情况发生也可以采用游标方式进行数据查询处理。

这种处理方式比常规查询要快很多。

当查询百万级的数据的时候还可以使用游标方式进行数据查询处理不仅可以节省内存的消耗而且还不需要一次性取出所有数据可以进行逐条处理或逐条取出部分批量处理。

一次查询指定

fetchSize

1000000)PageBigDataSearchEntity

pageList(Param(page)

QueryWrapperBigDataSearchEntity

queryWrapper);//

100000)ResultType(BigDataSearchEntity.class)void

listData(Param(Constants.WRAPPER)

QueryWrapperBigDataSearchEntity

queryWrapper,

ResultHandlerBigDataSearchEntity

handler);}Options

ResultSet.FORWORD_ONLY结果集的游标只能向下滚动ResultSet.SCROLL_INSENSITIVE结果集的游标可以上下移动当数据库变化时当前结果集不变ResultSet.SCROLL_SENSITIVE返回可滚动的结果集当数据库变化时当前结果集同步改变fetchSize每次获取量

ResultType

ResultType(BigDataSearchEntity.class)转换成返回实体类型

注意返回类型必须为

条记录放在客户端客户端处理完成一个批次后再向服务器取下一个批次直到所有数据处理完成。

MySQL

非流式查询内存会随着查询记录的增长而近乎直线增长。

流式查询内存会保持稳定不会随着记录的增长而增长。

其内存大小取决于批处理大小BATCH_SIZE的设置该尺寸越大内存会越大。

所以BATCH_SIZE应该根据业务情况设置合适的大小。

另外要切记每次处理完一批结果要记得释放存储每批数据的临时容器即上文中的gxids.clear();