。

每次同步的数据与需要过滤掉的数据量级大概在0-100w的数据不等。

由…背景

先说一下背景博主所在的业务组有一个核心系统需要同步两个不同数据源给过来的数据到redis中但是每次同步之前需要过滤掉一部分数据只存储剩下的数据。

每次同步的数据与需要过滤掉的数据量级大概在0-100w的数据不等。

由于是两个数据源虽然拿到数据后存数据的代码能共用但是从数据源拿数据由于协议不同所以还是需要分开写就安排了两位同事完成这个任务。

重启现象

项目上线大半年线上运行一直很平稳突然在某一天ops开始报警该系统的两台机器一直在重启cpu也一直报警线上cpu监控如下所示

机器也处于不断重启中

两台机器表现几乎一致于是马上重启一台机器同时联系ops运维同学帮助临时扩容机器另外一台机器抓取一下当时的运行详情。

直接用下面的火线图更明显

问题分析

可以看到几乎80%的cpu都在做一件事情ArrayList.removeAll()根据线程栈找到了线上的代码大致如下

protected

{//1.diff两次数据涉及的酒店//2.从老数据中删除新数据oldHotels.removeAll(newHotels);

可以看到其实cpu大部分的时间都在执行一行代码oldHotels.removeAll(newHotels)所以可以定位到问题所在。

前面提到我们同步数据其实是有两个数据源的前面任务堵塞的数据源成为数据源1另一个数据源称为数据源2那么为什么数据源2没有阻塞呢经过定位发现关于数据源2更新数据的代码大致如下

private

calculateNeedDeleteHotelSeqByRedis(String

tableName,

queryHotelSeqs(STRING_OLD_SEQ_TABLE_PREFIX

tableName);if

(CollectionUtils.isNotEmpty(saveHotelSeqs))

{//

删除diff数据saveHotelSeqs.removeAll(thisHotelSeqs);return

saveHotelSeqs;}其实两个方法要做的事情都是一样只是各自的实现方式不一样但是都有一个关键的步骤就是从新数据集合中批量删除掉老数据。

第一个数据源调用的api是ArrayList.removeAll(List

list)第二个数据源调用的api是ArrayList.removeAll(Set

//java.util.ArrayList#removeAllpublic

boolean

{Objects.requireNonNull(c);return

batchRemove(c,

所以可以看出来其实区别就在于传参类型不同接下来就需要深究为什么传参类型为List集合时会导致cpu上涨。

ArrayList.removeAll(Set)的速度远远高于ArrayList.removeAll(List)从1百万数据中remove掉30万数据前者需要0.031秒后者需要1267秒

从图中可以看到图中相关的集合类HashSet、LinkedList、ArrayList除了ArrayList自己实现了removeAll()方法外其他两个集合都是借助父类或超父类的Iterator迭代器进行删除。

接下来再来看一下ArrayList类的removeAll()方法的实现。

private

从火线图中可以看出主要是卡在执行contains()方法而contains()方法则是调用入参自身的方法因此需要对比的是HashSet.contains()

ArrayList.contains()

实现很简单即调用indexOf()一个一个地遍历查找。

最坏时间复杂度为O(总数据量)。

HashSet.contains()

我们知道HashSet的底层是HashMap因此实际也就是调用map.containKey()方法。

大家都知道HashMap的查找速度非常快因此到这里我们也就解释题目的问题。

解决方案

在数据量比较大的的情况下使用arrayList.removeAll(subList)时可以更改为

将subList封装为HashSetarrayList.removeAll(new

HashSet(subList))将arrayList改为LinkedListnew

LinkedList(arrayList).removeAll(subList)

protected

{//1.diff两次数据涉及的酒店//2.从老数据中删除新数据//

包装为set集合SetString

Sets.newHashSet(newHotels);oldHotels.removeAll(newHotels);