ZooKeeper本质上是一个分布式的小文件存储系统。

提供基于类似于文件系统的目录树方式的数据存储#xff0c;并且可以对树中的节点进行有效管理…1.Zookeeper基本知识

ZooKeeper概述

Zookeeper是一个分布式协调服务的开源框架。

主要用来解决分布式集群中应用系统的一致性问题。

ZooKeeper本质上是一个分布式的小文件存储系统。

提供基于类似于文件系统的目录树方式的数据存储并且可以对树中的节点进行有效管理。

从而用来维护和监控你存储的数据的状态变化。

通过监控这些数据状态的变化从而可以达到基于数据的集群管理。

ZooKeeper特性

全局数据一致集群中每个服务器保存一份相同的数据副本client无论连接到哪个服务器展示的数据都是一致的这是最重要的特征可靠性如果消息被其中一台服务器接受那么将被所有的服务器接受。

顺序性包括全局有序和偏序两种全局有序是指如果在一台服务器上消息a在消息b前发布则在所有Server上消息a都将在消息b前被发布偏序是指如果一个消息b在消息a后被同一个发送者发布a必将排在b前面。

数据更新原子性一次数据更新要么成功半数以上节点成功要么失败不存在中间状态实时性Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息或者服务器失效的信息。

ZooKeeper集群角色

对于createsetDatadelete等有写操作的请求则需要统一转发给leader处理leader需要决定编号、执行操作这个过程称为一个事务。

Follower:

此外针对访问量比较大的zookeeper集群还可新增观察者角色。

Observer:

观察者角色观察Zookeeper集群的最新状态变化并将这些状态同步过来其对于非事务请求可以进行独立处理对于事务请求则会转发给Leader服务器进行处理。

不会参与任何形式的投票只提供非事务服务通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

ZooKeeper集群搭建

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。

通常由2n1台servers组成。

这是因为为了保证Leader选举基于Paxos算法的实现能过得到多数的支持所以ZooKeeper集群的数量一般为奇数。

Zookeeper运行需要java环境所以需要提前安装jdk。

对于安装leaderfollower模式的集群大致过程如下

配置主机名称到IP地址映射配置修改ZooKeeper配置文件远程复制分发安装文件设置myid启动ZooKeeper集群

如果要想使用Observer模式可在对应节点的配置文件添加如下配置

peerTypeobserver

server.1:node1:2181:3181:observer

ZooKeeper

其中-s或-e分别指定节点特性顺序或临时节点若不指定则表示持久节点acl用来进行权限控制。

创建顺序节点

命令ls命令可以列出Zookeeper指定节点下的所有子节点只能查看指定节点下的第一级的所有子节点get命令可以获取Zookeeper指定节点的数据内容和属性信息。

path

若删除节点存在子节点那么无法删除该节点必须先删除子节点再删除父节点。

Rmr

redo该命令可以重新执行指定命令编号的历史命令,命令编号可以通过history查看

ZooKeeper数据模型

ZooKeeper的数据模型在结构上和标准文件系统的非常相似拥有一个层次的命名空间都是采用树形层次结构ZooKeeper树中的每个节点被称为—Znode。

和文件系统的目录树一样ZooKeeper树中的每个节点可以拥有子节点。

但也有不同之处

Znode兼具文件和一样可以作为路径标识的一部分并可以具有子Znode。

用户对Znode具有增、删、改、查等操作权限允许的情况下。

Znode具有原子性操作读操作将获取与节点相关的所有数据写操作也将替换掉节点的所有数据。

另外每一个节点都拥有自己的ACL(访问控制列表)这个列表规定了用户的权限即限定了特定用户对目标节点可以执行的操作。

Znode存储数据大小有限制。

ZooKeeper虽然可以关联一些数据但并没有被设计为常规的数据库或者大数据存储相反的是它用来管理调度数据比如分布式应用中的配置文件信息、状态信息、汇集位置等等。

这些数据的共同特性就是它们都是很小的数据通常以KB为大小单位。

ZooKeeper的服务器和客户端都被设计为严格检查并限制每个Znode的数据大小至多1M当时常规使用中应该远小于此值。

Znode通过路径引用如同Unix中的文件路径。

路径必须是绝对的因此他们必须由斜杠字符来开头。

除此以外他们必须是唯一的也就是说每一个路径只有一个表示因此这些路径不能改变。

在ZooKeeper中路径由Unicode字符串组成并且有一些限制。

字符串/zookeeper用以保存管理信息比如关键配额信息。

数据结构图

图中的每个节点称为一个Znode。

每个Znode由3部分组成:

stat此为状态信息,

临时节点该节点的生命周期依赖于创建它们的会话。

一旦会话结束临时节点将被自动删除当然可以也可以手动删除。

临时节点不允许拥有子节点。

永久节点该节点的生命周期不依赖于会话并且只有在客户端显示执行删除操作的时候他们才能被删除。

Znode还有一个序列化的特性如果创建的时候指定的话该Znode的名字后面会自动追加一个不断增加的序列号。

序列号对于此节点的父节点来说是唯一的这样便会记录每个子节点创建的先后顺序。

它的格式为“%10d”(10位数字没有数值的数位用0补充例如“0000000001”)。

PERSISTENT永久节点

每个znode都包含了一系列的属性通过命令get可以获得节点的属性。

dataVersion数据版本号每次对节点进行set操作dataVersion的值都会增加1即使设置的是相同的数据可有效避免了数据更新时出现的先后顺序问题。

cversion

Znode被修改的事务id即每次对znode的修改都会更新mZxid。

对于zk来说每次的变化都会产生一个唯一的事务idzxidZooKeeper

Transaction

Id。

通过zxid可以确定更新操作的先后顺序。

例如如果zxid1小于zxid2说明zxid1操作先于zxid2发生zxid对于整个zk都是唯一的即使操作的是不同的znode。

ephemeralOwner值表示与该节点绑定的session

id.

在client和server通信之前,首先需要建立连接,该连接称为session。

连接建立后,如果发生连接超时、授权失败,或者显式关闭连接,连接便处于CLOSED状态,

ZooKeeper

ZooKeeper提供了分布式数据发布/订阅功能一个典型的发布/订阅模型系统定义了一种一对多的订阅关系能让多个订阅者同时监听某一个主题对象当这个主题对象自身状态变化时会通知所有订阅者使他们能够做出相应的处理。

ZooKeeper中引入了Watcher机制来实现这种分布式的通知功能。

ZooKeeper允许客户端向服务端注册一个Watcher监听当服务端的一些事件触发了这个Watcher那么就会向指定客户端发送一个事件通知来实现分布式的通知功能。

总的来说可以概括Watcher为以下三个过程客户端向服务端注册Watcher、服务端事件发生触发Watcher、客户端回调Watcher得到触发事件情况

Watch机制特点

event就会被发送到设置监听的客户端这种效果是一次性的后续再次发生同样的事件不会再次触发。

事件封装

ZooKeeper使用WatchedEvent对象来封装服务端事件并传递。

通知状态keeperState事件类型EventType和节点路径path

event异步发送

Zookeeper中的watch机制必须客户端先去服务端注册监听这样事件发送才会触发监听通知给客户端。

同一个事件类型在不同的通知状态中代表的含义有所不同下表列举了常见的通知状态和事件类型。

其中连接状态事件(typeNone,

pathnull)不需要客户端注册客户端只要有需要直接处理就行了。

Shell

数据发布/订阅系统即所谓的配置中心也就是发布者将数据发布到ZooKeeper的一个节点上提供订阅者进行数据订阅从而实现动态更新数据的目的实现配置信息的集中式管理和数据的动态更新。

ZooKeeper采用的是推拉相结合的方式客户端向服务器注册自己需要关注的节点一旦该节点的数据发生改变那么服务端就会向相应的客户端发送Watcher事件通知客户端接收到消息通知后需要主动到服务端获取最新的数据。

提供集群选举

在分布式环境下不管是主从架构集群还是主备架构集群要求在服务的时候有且有一个正常的对外提供服务我们称之为master。

当master出现故障之后需要重新选举出的新的master。

保证服务的连续可用性。

zookeeper可以提供这样的功能服务。

分布式锁

ZooKeeper通过数据节点表示一个锁例如/itcast/lock节点就可以定义一个锁所有客户端都会调用create()接口试图在/itcast下创建lock子节点但是ZooKeeper的强一致性会保证所有客户端最终只有一个客户创建成功。

也就可以认为获得了锁其它线程Watcher监听子节点变化等待释放锁竞争获取资源。

此外也可以通过znode的序列化特性给创建znode的客户端自动编号从而实现所谓的顺序锁的功能。