bit

设置0或1对于大量的值需要存储非常节省空间查询速度极快但是不能查询整个key所有的bit在一次请求有大量的值需要过滤的场景会出现多次请求getbit性能会急剧下降需要把多个gitbit合并成批次使用lua脚本或者pipeline执行提高效率。

2、redis

布隆过滤器的大小误差率等支持批量写入和批量查询性能更优针对一次大量请求批量查询接口性能更快。

硬件单节点

场景一次请求需要过滤10000个id每100个批量查询一次redis

如此循环

时延单位毫秒115561238214751164317349894303417015153212546157911797154111778156710459169812161016891275平均1740.51223.8

3、基于以上的测试结果如果一次推荐请求用户已经看过10000个视频需要过滤10000个视频时延会上涨到秒级以上这样对于高并发情况性能是不行的还有其他的办法嘛

在推荐场景布隆过滤器设置了容量5000个容错率是0.001布隆过滤器的最大值为17972

byte约

BitSetBitSet的最大值是int的最大从redis查询出来序列化成BitSet对象再进行读写操作如果是写操作再序列化写入redis。

private

TestBloomP.getBitMapKey(userId,

111);log.info(get

redisTemplate.opsForValue().get(key);

}private

TestBloomP.getOffsets(uniqueKey);for

(Integer

TestBloomP.getBitMapKey(userId,

111);log.info(add

bitSet.size());redisTemplate.opsForValue().set(key,

bitSet);

使用java默认的序列化工具JdkSerializationRedisSerializer测试结果

如下写操作会先读再写

key:shop_video:filter_exposed:1607433260630157,

size:143808,