Istio核心特性断路器互动1举个生活中的例子解释断路器互动2服务降级提高用户体验效果

超时重试多路由规则

Istio架构istio组件详解PilotEnvoyCitadelGalleyIngressgatewaySidecar-injector其他组件

open

就是”连接、安全加固、控制和观察服务的开放平台“。

开放平台就是指它本身是开源的服务对应的是微服务也可以粗略地理解为单个应用。

1、连接Connect智能控制服务之间的调用流量能够实现灰度升级、AB

测试和蓝绿部署等功能2、安全加固Secure自动为服务之间的调用提供认证、授权和加密。

3、控制Control应用用户定义的

policy保证资源在消费者中公平分配。

4、观察Observe查看服务运行期间的各种数据比如日志、监控和

Istio是ServiceMesh的产品化落地可以通过在现有的服务器新增部署边车代理(sidecar

proxy)应用程序不用改代码或者只需要改很少的代码就能实现如下基础功能

1、帮助微服务之间建立连接帮助研发团队更好的管理与监控微服务并使得系统架构更加安全2、帮助微服务分层解耦解耦后的proxy层能够更加专注于提供基础架构能力例如

1服务发现(discovery);

Call远程过程调用简单的理解是一个节点请求另一个节点提供的服务

服务度量

1、请求计数istio_requests_total这是一个用于累加每个由

Istio

指标。

2、请求持续时间istio_request_duration_seconds这是一个用于测量请求的持续时间的

DISTRIBUTION

指标。

3、请求大小istio_request_bytes这是一个用于测量

HTTP

指标。

4、响应大小istio_response_bytes这是一个用于测量

HTTP

发送字节数istio_tcp_sent_bytes_total这是一个用于测量在

TCP

接收字节数istio_tcp_received_bytes_total这是一个用于测量在

TCP

打开连接数istio_tcp_connections_opened_total这是一个用于累加每个打开连接的

COUNTER

(istio_tcp_connections_closed_total)

COUNTER

在灰度发布开始后先启动一个新版本应用但是并不直接将流量切过来而是测试人员对新版本进行线上测试启动的这个新版本应用就是我们的金丝雀。

如果没有问题那么可以将少量的用户流量导入到新版本上然后再对新版本做运行状态观察收集各种运行时数据如果此时对新旧版本做各种数据对比就是所谓的A/B测试。

当确认新版本运行良好后再逐步将更多的流量导入到新版本上在此期间还可以不断地调整新旧两个版本的运行的服务器副本数量以使得新版本能够承受越来越大的流量压力。

直到将100%的流量都切换到新版本上最后关闭剩下的老版本服务完成灰度发布。

如果在灰度发布过程中灰度期发现了新版本有问题就应该立即将流量切回老版本上这样就会将负面影响控制在最小范围内。

Istio核心特性

breakers)、超时、重试、多路由规则、AB测试、灰度发布、按照百分比分配流量等。

2、安全(security)

加密、身份认证、服务到服务的权限控制、K8S里容器到容器的权限控制等。

3、可观察(observability)追踪、监控、数据收集通过控制后台全面了解上行下行流量服务链路情况服务运行情况系统性能情况国内微服务架构体系这一块做得比较缺乏。

4、平台无关系(platform

support)

K8s物理机自己的虚机都没问题。

5、集成与定制(integration

and

当电路发生故障或异常时伴随着电流不断升高并且升高的电流有可能能损坏电路中的某些重要器件也有可能烧毁电路甚至造成火灾。

若电路中正确地安置了保险丝那么保险丝就会在电流异常升高到一定的高度和热度的时候自身熔断切断电流从而起到保护电路安全运行的作用。

断路器也称为服务熔断在多个服务调用的时候服务A依赖服务B服务B依赖服务C如果服务C响应时间过长或者不可用则会让服务B占用太多系统资源而服务A也依赖服B同时也在占用大量的系统资源造成系统雪崩的情况出现。

Istio

断路器通过网格中的边车对流量进行拦截判断处理避免了在代码中侵入控制逻辑非常方便的就实服务熔断的能力。

在微服务架构中在高并发情况下如果请求数量达到一定极限可以自己设置阈值超出了设置的阈值断路器会自动开启服务保护功能然后通过服务降级的方式返回一个友好的提示给客户端。

假设当10个请求中有10%失败时熔断器就会打开此时再调用此服务将会直接返回失败不再调远程服务。

直到10s钟之后重新检测该触发条件判断是否把熔断器关闭或者继续打开。

互动2服务降级提高用户体验效果

比如电商平台在针对618、双11的时候会有一些秒杀场景秒杀的时候请求量大可能会返回报错标志“当前请求人数多请稍后重试”等如果使用服务降级无法提供服务的时候消费者会调用降级的操作返回服务不可用等信息或者返回提前准备好的静态页面写好的信息。

什么时候需要用到超时

在生产环境中经常会碰到由于调用方等待下游的响应过长堆积大量的请求阻塞了自身服务造成雪崩的情况通过超时处理来避免由于无限期等待造成的故障进而增强服务的可用性。

nginx

服务设置了超时时间为3秒如果超出这个时间就不在等待返回超时错误httpd

服务设置了响应时间延迟5秒任何请求都需要等待5秒后才能返回client

nginx

1、数据平面由一组以Sidecar方式部署的智能代理(EnvoyPolit-agent)组成。

这些代理承载并控制微服务之间的所有网络通信管理入口和出口流量类似于一线员工。

Sidecar

一般和业务容器绑定在一起在Kubernets中以自动注入的方式注入到到业务pod中来劫持业务应用容器的流量并接受控制面组件的控制同时会向控制面输出日志、跟踪及监控数据。

Envoy

istio1.5中使用了一个全新的部署模式重建了控制平面将原有的多个组件整合为一个单体结构istiod这个组件是控制平面的核心管理Istio的所有功能主要包括Pilot、Mixer、Citadel等服务组件。

istiod是新版本中最大的变化以一个单体组件替代了原有的架构降低了复杂度和维护难度但原有的多组件并不是被完全移除而是在重构后以模块的形式整合在一起组成了istiod。

结合下图我们来理解Istio的各组件的功能及相互之间的协作方式。

自动注入在创建应用程序时自动注入

Sidecar-Injector服务自动修改应用程序的描述信息并注入Sidecar。

在真正创建Pod时在创建业务容器的Pod中同时创建Sidecar容器。

规则基于配置的iptables规则拦截业务容器的Inbound流量和Outbound流量到Sidecar上。

而应用程序感知不到Sidecar的存在还以原本的方式

Envoy拦截而当流量到达forecast容器时Inbound流量被forecast

Envoy

负载均衡服务发起方的Envoy根据配置的负载均衡策略选择服务实例并连接对应的实例地址。

上图中数据面的各个Envoy从Pilot中获取forecast服务的负载均衡配置并执行负载均衡动作。

流量治理Envoy

中获取流量治理规则并根据该流量治理规则将不同特征的流量分发到forecast服务的v1或v2版本。

访问安全在服务间访问时通过双方的Envoy进行双向认证和通道加密并基于服务的身份进行授权管理。

上图中Pilot下发安全相关配置在frontend服务和forecast服务的Envoy上自动加载证书和密钥来实现双向认证其中的证书和密钥由另一个管理面组件

服务监测在服务间通信时通信双方的Envoy都会连接管理面组件Mixer上报访问数据并通过Mixer将数据转发给对应的监控后端。

上图中frontend服务对forecast服务的访问监控指标、日志和调用链都可以通过这种方式收集到对应的监控后端。

策略执行在进行服务访问时通过Mixer连接后端服务来控制服务间的访问判断对访问是放行还是拒绝。

上图中Mixer

后端可以对接一个限流服务对从frontend服务到forecast服务的访问进行速率控制等操作。

frontend对

frontend服务的负载均衡和一些流量治理策略都在这个Gateway上执行。

问题1为什么代理会叫sidecar

看了上图就容易懂了sidecar和proxy相生相伴就像摩托车(motor)与旁边的车厢(sidecar)。

未来sidecar和proxy就指微服务进程解耦成两个进程之后提供基础能力的那个代理进程。

istio组件详解

Istio服务组件有很多从上面的流程中基本能看出每个组件如何协作的下面具体讲解每个组件的具体用途和功能。

Pilot

指令将路由、服务、监听、集群等定义信息转换为本地配置完成控制行为的落地。

1Pilot为Envoy提供服务发现2提供流量管理功能例如A/B

测试、金丝雀发布等以及弹性功能超时、重试、熔断器等3生成envoy配置4启动envoy5监控并管理envoy的运行状况比如envoy出错时pilot-agent负责重启envoy或者envoy配置变更后reload

envoy

动态服务发现负载均衡TLS终端HTTP/2与gRPC代理断路器健康检查流量拆分灰度发布故障注入

Istio中Envoy与服务什么关系

为了便于理解Istio中Envoy与服务的关系下图为Envoy的拓扑图如图所示

Envoy和Service

pilot-agent管理的Pilot-agent进程根据K8S

APIserver中的配置信息生成Envoy的配置文件并负责启动Envoy进程。

Envoy由Pilot-agent进程启动启动后Envoy读取Pilot-agent为它生成的配置文件然后根据该文件的配置获取到Pilot的地址通过数据面从pilot拉取动态配置信息包括路由route监听器listener服务集群cluster和服务端点endpoint。

Citadel

Citadel充当证书颁发机构(CA)并生成证书以允许在数据平面中进行安全的mTLS通信。

Kube-

Secret的形式为每个服务都生成证书密钥并在Pod创建时挂载到Pod上代理容器使用这些文件来做服务身份认证进而代

理两端服务实现双向TLS认证、通道加密、访问授权等安全功能。

如图

所示frontend

服务的访问用到了HTTP方式通过配置即可对服务增加认证功能双方的Envoy会建立双向认证的TLS通道从而在服务间启用双向认证的HTTPS。

Galley

Galley是istio的配置验证、提取、处理和分发的组件。

Galley是提供配置管理的服务。

实现原理是通过k8s提供的ValidatingWebhook对配置进行验证。

Galley使Istio可以与Kubernetes之外的其他环境一起工作因为它可以将不同的配置数据转换为Istio可以理解的通用格式。

Ingressgateway

Gateway从网格外访问网格内的服务就是通过这个Gateway进行的。

istio-ingressgateway是一个Loadbalancer类型的Service不同于其他服务组件只有一两个端

开放了一组端口这些就是网格内服务的外部访问端口。

如下图所示网格入口网关istio-ingressgateway的负载和网格内的Sidecar是同样的执行流程也和网格内的其他

Sidecar一样从

Sidecar-injector是负责自动注入的组件只要开启了自动注

入在Pod创建时就会自动调用istio-sidecar-injector向Pod中注入Sidecar

Kubernetes环境下根据自动注入配置Kube-apiserver在拦截到

Sidecar

除了以“istio”为前缀的Istio自有组件在集群中一般还安装Jaeger-agent、Jaeger-collector、Jaeger-query、Kiali、Prome***us、Grafana、

Tracing、Zipkin等组件这些组件提供了Istio的调用链、监控等功能可以选择安装来完成完整的服务监控管理功能。