1、单机版安装2、集群安装3、配置参数解读(zoo.cfg)4、ZK集群启动脚本

三、命令行操作1、语法2、使用3、节点相关4、监听器原理5、节点删除与查看

三、写数据流程

官方地址https://zookeeper.apache.org/

Zookeeper是一个开源的分布式的为分布式框架提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据然后接受观察者的注册一旦这些数据的状态发生变化Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

2、特点

Zookeeper一个领导者Leader多个跟随者Follower组成的集群。

集群中只要有半数以上节点存活Zookeeper集群就能正常服务。

所以Zookeeper适合安装奇数台服务器。

全局数据一致每个Server保存一份相同的数据副本Client无论连接到哪个Server数据都是一致的。

更新请求顺序执行来自同一个Client的更新请求按其发送顺序依次执行。

数据更新原子性一次数据更新要么成功要么失败。

实时性在一定时间范围内Client能读到最新数据。

3、数据结构

ZooKeeper数据模型的结构与Unix文件系统很类似。

整体上可以看作是一棵树每个节点称做一个ZNode。

每一个ZNode默认能够存储1MB的数据每个ZNode都可以通过其路径唯一标识。

4、应用场景

提供的服务包括统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

统一命名服务统一配置管理统一集群管理服务器节点动态上下线软负载均衡等

统一命名服务

在分布式环境下经常需要对应用/服务进行统一命名便于识别。

例如IP不容易记住而域名容易记住。

统一配置管理

可将配置信息写入ZooKeeper上的一个Znode。

各个客户端服务器监听这个Znode。

一旦Znode中的数据被修改ZooKeeper将通知各个客户端服务器。

统一集群管理

可将节点信息写入ZooKeeper上的一个ZNode。

监听这个ZNode可获取它的实时状态变化。

服务器动态上下线

在Zookeeper中记录每台服务器的访问数让访问数最少的服务器去处理最新的客户端请求。

5、选举机制

1服务器1启动发起一次选举。

服务器1投自己一票。

此时服务器1票数一票不够半数以上3票选举无法完成服务器1状态保持为LOOKING2服务器2启动再发起一次选举。

服务器1和2分别投自己一票并交换选票信息此时服务器1发现服务器2的myid比自己目前投票推举的服务器1大更改选票为推举服务器2。

此时服务器1票数0票服务器2票数2票没有半数以上结果选举无法完成服务器12状态保持LOOKING。

3服务器3启动发起一次选举。

此时服务器1和2都会更改选票为服务器3。

此次投票结果服务器1为0票服务器2为0票服务器3为3票。

此时服务器3的票数已经超过半数服务器3当选Leader。

服务器12更改状态为FOLLOWING服务器3更改状态为LEADING4服务器4启动发起一次选举。

此时服务器123已经不是LOOKING状态不会更改选票信息。

交换选票信息结果服务器3为3票服务器4为1票。

此时服务器4服从多数更改选票信息为服务器3并更改状态为FOLLOWING5服务器5启动同4一样当小弟。

非第一次启动

dataDir/opt/module/zookeeper-3.5.7/zkData#

the

java-1.8.0-openjdk-devel.x86_64

创建文件/opt/module

https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz解压文件

tar

apache-zookeeper-3.5.7-bin.tar.gz

/opt/module修改安装目录名

ZOOKEEPER_HOME/opt/module/zookeeper-3.5.7

export

PATH$PATH:$ZOOKEEPER_HOME/bin加载环境变量

source

/opt/module/zookeeper-3.5.7/conf/

zoo_sample.cfg

dataDir/opt/module/zookeeper-3.5.7/zkData创建日志目录

mkdir

/opt/module/zookeeper-3.5.7/zkData启动zookeeper

bin/zkServer.sh

java-1.8.0-openjdk-devel.x86_64

创建文件/opt/module

https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz解压文件

tar

apache-zookeeper-3.5.7-bin.tar.gz

/opt/module修改安装目录名

zkData在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件

在文件中添加与server对应的编号注意上下不要有空行左右不要有空格

/opt/module/zookeeper-3.5.7/zkData

vim

/opt/module/zookeeper-3.5.7/conf

zoo_sample.cfg

/opt/module/zookeeper-3.5.7/conf/zoo.cfg#

修改数据存储位置

dataDir/opt/module/zookeeper-3.5.7/zkData#

增加集群配置

#######################cluster##########################

server.3hadoop103:2888:3888启动集群(3台都要启动)

bin/zkServer.sh

Zookeeper中的配置文件zoo.cfg中参数含义解读如下

tickTime2000

2000通信心跳时间Zookeeper服务器与客户端心跳时间单位毫秒

initLimit

Leader和Follower初始连接时能容忍的最多心跳数tickTime的数量

syncLimit

Leader和Follower之间通信时间如果超过syncLimit

tickTimeLeader认为Follwer死掉从服务器列表中删除Follwer。

clientPort

/opt/module/zookeeper-3.5.7/bin/zkServer.sh

startdone

/opt/module/zookeeper-3.5.7/bin/zkServer.sh

stopdone

/opt/module/zookeeper-3.5.7/bin/zkServer.sh

statusdone

附加次级信息set设置节点的具体值stat查看节点状态delete删除节点deleteall递归删除节点

2、使用

每次修改ZooKeeper状态都会产生一个ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。

每次修改都有唯一的zxid如果zxid1小于zxid2那么zxid1在zxid2之前发生。

ctimeznode被创建的毫秒数从1970年开始mzxidznode最后更新的事务zxidmtimeznode最后修改的毫秒数从1970年开始pZxidznode最后更新的子节点zxidcversionznode子节点变化号znode子节点修改次数dataversionznode数据变化号aclVersionznode访问控制列表的变化号ephemeralOwner如果是临时节点这个是znode拥有者的session

id。

如果不是临时节点则是0。

dataLengthznode的数据长度numChildrenznode子节点数量

3、节点相关

持久Persistent客户端和服务器端断开连接后创建的节点不删除。

持久化节点客户端与Zookeeper断开连接后该节点依旧存在只是Zookeeper给该节点名称进行顺序编号

短暂Ephemeral客户端和服务器端断开连接后创建的节点自己删除。

临时节点客户端与Zookeeper断开连接后该节点被删除只是Zookeeper给该节点名称进行顺序编号。

说明创建znode时设置顺序标识znode名称后会附加一个值顺序号是一个单调递增的计数器由父节点维护。

注意在分布式系统中顺序号可以被用于为所有的事件进行全局排序这样客户端可以通过顺序号推断事件的顺序。

create

zhansan01创建的节点带序号test1000001短暂节点create

/test/test1

客户端注册监听它关心的节点发生变化数据改变、节点删除、子目录节点增加删除时ZooKeeper会通知客户端。

监听机制保证ZooKeeper保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

监听原理

1首先要有一个main()线程2在main线程中创建Zookeeper客户端这时就会创建两个线程一个负责网络连接通信connet一个负责监听listener。

3通过connect线程将注册的监听事件发送给Zookeeper。

4在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。

5Zookeeper监听到有数据或路径变化就会将这个消息发送给listener线程。

6listener线程内部调用了process()方法。

get

zhangsan注意在hadoop103再多次修改/sanguo的值hadoop104上不会再收到监听。

因为注册一次只能监听一次。

想再次监听需要再次注册。

监控子目录变化

zhangsan04注意节点的路径变化也是注册一次生效一次。

想多次生效就需要多次注册。

5、节点删除与查看