系统在设计之初就把熔断措施考虑进去当系统出现问题时如果短时间内无法修复系统要自动做出判断开启熔断开关拒绝流量访问避免大流量对后端的过载请求。

系统也应该能够动态监测后端程序的修复情况当程序已恢复稳定时可以关闭熔断开关恢复正常服务。

常见的熔断组件有

Hystrix

Sentinel两种互有优缺点可以根据业务的实际情况进行选择。

服务降级

将系统的所有功能服务进行一个分级当系统出现问题需要紧急限流时可将不是那么重要的功能进行降级处理停止服务这样可以释放出更多的资源供给核心功能的去用。

例如在电商平台中如果突发流量激增可临时将商品评论、积分等非核心功能进行降级停止这些服务释放出机器和

CPU

等资源来保障用户正常下单而这些降级的功能服务可以等整个系统恢复正常后再来启动进行补单/补偿处理。

除了功能降级以外还可以采用不直接操作数据库而全部读缓存、写缓存的方式作为临时降级方案。

延迟处理

这个模式需要在系统的前端设置一个流量缓冲池将所有的请求全部缓冲进这个池子不立即处理。

然后后端真正的业务处理程序从这个池子中取出请求依次处理常见的可以用队列模式来实现。

这就相当于用异步的方式去减少了后端的处理压力但是当流量较大时后端的处理能力有限缓冲池里的请求可能处理不及时会有一定程度延迟。

特权处理

这个模式需要将用户进行分类通过预设的分类让系统优先处理需要高保障的用户群体其它用户群的请求就会延迟处理或者直接不处理。

缓存、降级、限流区别

缓存是用来增加系统吞吐量提升访问速度提供高并发。

降级是在系统某些服务组件不可用的时候、流量暴增、资源耗尽等情况下暂时屏蔽掉出问题的服务继续提供降级服务给用户尽可能的友好提示返回兜底数据不会影响整体业务流程待问题解决再重新上线服务限流是指在使用缓存和降级无效的场景。

比如当达到阈值后限制接口调用频率访问次数库存个数等在出现服务不可用之前提前把服务降级只服务好一部分用户。

计数器算法

连接数等这都属于计数器算法。

计数器算法是限流算法里最简单也是最容易实现的一种算法。

举个例子比如规定对于

接口1

分钟之内那么说明请求数过多拒绝访问如果该请求与第一个请求的间隔时间大于

分钟且

漏桶算法思路很简单水请求先进入到漏桶里漏桶以一定的速度出水当水流入速度过大会超过桶可接纳的容量时直接溢出可以看出漏桶算法能强行限制数据的传输速率。

令牌桶算法

令牌桶与漏桶相似不同的是令牌桶桶中放了一些令牌服务请求到达后要获取令牌之后才会得到服务。

举个例子我们平时去食堂吃饭都是在食堂内窗口前排队的这就好比是漏桶算法大量的人员聚集在食堂内窗口外以一定的速度享受服务如果涌进来的人太多食堂装不下了可能就有一部分人站到食堂外了这就没有享受到食堂的服务称之为溢出溢出可以继续请求也就是继续排队那么这样有什么问题呢?如果这时候有特殊情况如有些赶时间的志愿者啦、或者高三要高考啦这种情况就是突发情况如果也用漏桶算法那也得慢慢排队这也就没有解决我们的需求对于很多应用场景来说除了要求能够限制数据的平均传输速率外还要求允许某种程度的突发传输。

这时候漏桶算法可能就不合适了令牌桶算法更为适合。

如下图所示令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌而如果请求需要被处理则需要先从桶里获取一个令牌当桶里没有令牌可取时则拒绝服务。

令牌桶好处就是如果某一瞬间访问量剧增或者有突发情况可以通过改变桶中令牌数量来改变连接数就好比那个食堂排队吃饭的问题如果现在不是直接去窗口排队而是先来楼外拿饭票然后再去排队那么有高三的学生时可以将增加饭票数量或者优先将令牌给高三的学生这样比漏桶算法更加灵活。

并发限流

有了并发限流就意味着在处理高并发的时候多了一种保护机制不用担心瞬间流量导致系统挂掉或雪崩最终做到有损服务而不是不服务但是限流需要评估好不能乱用否则一些正常流量出现一些奇怪的问题而导致用户体验很差造成用户流失。

接口限流

接口限流分为两个部分一是限制一段时间内接口调用次数参照前面限流算法的计数器算法二是设置滑动时间窗口算法。

接口总数控制一段时间内接口被调用的总数量可以参考前面的计数器算法不再赘述。

接口时间窗口固定时间窗口算法也就是前面提到的计数器算法的问题是统计区间太大限流不够精确而且在第二个统计区间时没有考虑与前一个统计区间的关系与影响第一个区间后半段

第二个区间前半段也是一分钟。

为了解决上面提到的临界问题可以尝试把每个统计区间分为更小的统计区间更精确的统计计数。

QPS

142这明显超过了允许的服务请求数目因此固定窗口计数器不太可靠需要滑动窗口计数器。

计数器算法其实就是固定窗口算法只是它没有对时间窗口做进一步地划分所以只有

格由此可见当滑动窗口的格子划分的越多也就是将秒精确到毫秒或者纳秒那么滑动窗口的滚动就越平滑限流的统计就会越精确。

需要注意的是消耗的空间就越多。

四、限流实现

https://mvnrepository.com/artifact/com.google.guava/guava

dependencygroupIdcom.google.guava/groupIdartifactIdguava/artifactIdversion28.1-jre/version

/dependency核心代码

CacheBuilder.newBuilder().expireAfterWrite(2,

CacheLoaderLong,

counter.get(1l).incrementAndGet();②

令牌桶实现

RateLimiter.create(2)每秒产生的令牌数RateLimiter

limiter

阻塞的方式获取令牌System.out.println(limiter.acquire());;try

catch

blocke.printStackTrace();}System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;

}RateLimiter.create(2)容量和突发量令牌桶算法允许将一段时间内没有消费的令牌暂存到令牌桶中用来突发消费。

渐进模式SmoothWarmingUp令牌生成速度缓慢提升直到维持在一个稳定值

RateLimiter

RateLimiter.create(2,1000l,TimeUnit.MILLISECONDS);

System.out.println(limiter.acquire());;

try

System.out.println(limiter.acquire());;

System.out.println(limiter.acquire());;

System.out.println(limiter.acquire());;

System.out.println(limiter.acquire());;System.out.println(limiter.acquire());;

System.out.println(limiter.acquire());;超时

boolean

limiter.tryAcquire(Duration.ofMillis(11));在

timeout

--过期时间为1秒elselimit_counter:incr(key,

--第二次开始加1即可endlock:unlock()return

end