Zookeeper的原理

Zookeeper的概述：

ZooKeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
ZooKeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。
例如：一组服务器集群、一组客户端，全部通过ZooKeeper注册，如果一台服务节点宕机，则ZooKeeper集群可以监测宕机几点服务器状态并通知客户端。

ZooKeeper的特点：

1. ZooKeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
2. 集群中只要有半数以上的节点存活，ZooKeeper集群就能正常服务。
3. 全局数据一致性：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
4. 更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
5. 数据更新原子性，一次数据更新要么成功，要么失败。
6. 实时性，在一定时间范围内，Client能读到最新数据。

ZooKeeper的数据结构

ZooKeeper数据模型的结构与Unix文件系统类似，整体上可以看做是一棵树，每个节点称作一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

ZooKeeper应用场景

提供的服务包括：统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡等。

ZooKeeper的内部原理

选举机制
半数机制：集群中半数以上机器存活，集群可用。所以ZooKeeper适合安装奇数台服务器。
ZooKeeper虽然在配置文件中没有指定Master和Slave，但是在集群工作时，是有一个节点为Leader，其他节点为Follower的，Leader是通过内部的选举机制临时产生的。
初始化集群选举机制的解释：五台服务器的集群为例，当第一台服务器启动后，给自己投票，此时不符合半数机制（配置文件中已经配置了五台服务器）；第二台服务器启动时，投自己一票，此时仍然不符合半数机制，所以第一台服务器的票也投给第二台服务器；第三台服务器启动，投自己一票，此时还是不符合半数机制，所以第一台、第二台服务器都将票投给第三台服务器，现在符合了半数机制，所以Leader为第三台服务器。

ZooKeeper的节点类型-了解

1. 持久（Persistent）
   持久化目录节点：
   客户端与ZooKeeper断开连接后，该节点依旧存在。
   持久化顺序编号目录节点
   客户端与ZooKeeper断开连接后，该节点依旧存在，只是ZooKeeper给该节点名称进行顺序编号。
   说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。
   注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断时间的顺序。
2. 短暂
   临时目录节点
   客户端与ZooKeeper断开连接后，该节点被删除。
   临时顺序编号目录节点
   客户端与ZooKeeper断开连接后，该节点被删除，只是ZooKeeper给该节点名称进行顺序编号。

监听器的原理

一）、监听器的原理详解

1. 首先要有一个main()线程。
2. 在main()线程中创建ZooKeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）。
3. 通过connect线程将注册的监听事件发送给ZooKeeper。
4. 在ZooKeeper的注册监听器列表中将注册的监听事件添加到列表中。
5. ZooKeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
6. listener线程内部调用process()方法（程序员自己写的方法）。

二）、常见的监听

1. 监听节点数据的变化

get path [watch]

2. 监听子节点增减的变化

ls path [watch]

Zookeeper的安装

下载Zookeeper

官方网站：https://zookeeper.apache.org/
使用的版本：zookeeper-3.4.10.tar.gz

上传到/export/software目录

解压到/export/servers目录

[root@hadoop001 ~]# tar -xzvf /export/software/zookeeper-3.4.10.tar.gz -C /export/servers/
[root@hadoop001 ~]# cd /export/servers/
[root@hadoop001 servers]# ls -ll
total 8
lrwxrwxrwx  1 root  root    13 Apr 18 18:59 hadoop -> hadoop-2.7.3/
drwxr-xr-x 10 root  root   150 Apr 25 18:30 hadoop-2.7.3
lrwxrwxrwx  1 root  root    13 Apr 18 18:59 jdk -> jdk1.8.0_311/
drwxr-xr-x  8 10143 10143 4096 Sep 27  2021 jdk1.8.0_311
drwxr-xr-x 10  1001  1001 4096 Mar 23  2017 zookeeper-3.4.10
[root@hadoop001 servers]# ln -s zookeeper-3.4.10/ zookeeper
[root@hadoop001 servers]# ls -ll
total 8
lrwxrwxrwx  1 root  root    13 Apr 18 18:59 hadoop -> hadoop-2.7.3/
drwxr-xr-x 10 root  root   150 Apr 25 18:30 hadoop-2.7.3
lrwxrwxrwx  1 root  root    13 Apr 18 18:59 jdk -> jdk1.8.0_311/
drwxr-xr-x  8 10143 10143 4096 Sep 27  2021 jdk1.8.0_311
lrwxrwxrwx  1 root  root    17 May 29 17:52 zookeeper -> zookeeper-3.4.10/
drwxr-xr-x 10  1001  1001 4096 Mar 23  2017 zookeeper-3.4.10

Zookeeper的配置

1.该目录下有示例配置文件zoo_sample.cfg，将其拷贝为zoo.cfg：

[root@hadoop001 conf]# pwd
/export/servers/zookeeper/conf
[root@hadoop001 conf]# cp zoo_sample.cfg zoo.cfg
[root@hadoop001 conf]# ls -ll
total 16
-rw-rw-r-- 1 1001 1001  535 Mar 23  2017 configuration.xsl
-rw-rw-r-- 1 1001 1001 2161 Mar 23  2017 log4j.properties
-rw-r--r-- 1 root root  922 May 29 17:58 zoo.cfg
-rw-rw-r-- 1 1001 1001  922 Mar 23  2017 zoo_sample.cfg

2.创建zookeeper mydata和mylog所使用的目录

[root@hadoop001 mydata]# mkdir -p /export/data/zookeeper/mydata
[root@hadoop001 mydata]# mkdir -p /export/data/zookeeper/mylog

3.使用vim编辑配置文件zoo.cfg：

[root@hadoop001 conf]# vi /export/servers/zookeeper/conf/zoo.cfg
#文件中添加如下内容
server.1=hadoop001:2888:3888
server.2=hadoop002:2888:3888
server.3=hadoop003:2888:3888

dataDir=/export/data/zookeeper/mydata
dataLogDir=/export/data/zookeeper/mylog

配置参数：

4.创建myid文件

在三台机器的zoo.cfg配置文件中dataDir 所指定的目录中创建myid（id是唯一的，与server.1/2/3相对应）

[root@hadoop001 mydata]# echo 1 >> /export/data/zookeeper/mydata/myid
[root@hadoop001 mydata]# cat /export/data/zookeeper/mydata/myid
1

5.配置环境变量

[root@hadoop001 ~]# vi /etc/profile.d/hadoop_env.sh 
export JAVA_HOME=/export/servers/jdk
export HADOOP_HOME=/export/servers/hadoop
export ZOOKEEPER_HOME=/export/servers/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效

[root@hadoop001 profile.d]# source /etc/profile.d/hadoop_env.sh

6.分发到其他机器

#分发配置文件
[root@hadoop001 ~]# scp /etc/profile.d/hadoop_env.sh hadoop002:/etc/profile.d/hadoop_env.sh
[root@hadoop001 ~]# scp /etc/profile.d/hadoop_env.sh hadoop003:/etc/profile.d/hadoop_env.sh

#分发ZOOKEEPER的安装目录和data目录
[root@hadoop001 ~]# scp -r /export/servers/zookeeper-3.4.10 hadoop002:/export/servers/
[root@hadoop001 ~]# scp -r /export/servers/zookeeper-3.4.10 hadoop003:/export/servers/

7.创建软连接以及修改myid

#hadoop002
[root@hadoop002 servers]# ln -s zookeeper-3.4.10/ zookeeper
[root@hadoop002 servers]# vim /export/data/zookeeper/mydata/myid
#把myid内的数字修改为2

#hadoop003
[root@hadoop003 servers]# ln -s zookeeper-3.4.10/ zookeeper
[root@hadoop003 servers]# vim /export/data/zookeeper/mydata/myid
#把myid内的数字修改为3

8.使配置文件生效

#三台机器都分别执行
source /etc/profile.d/hadoop_env.sh 

Zookeeper的启动

#在hadoop001,hadoop002,hadoop003上分别执行
zkServer.sh start
zkServer.sh status

##设置开机自启动，两种方式可以实现开机自启动

第一种：直接修改/etc/rc.d/rc.local文件

[root@hadoop001 mydata]# vim /etc/rc.d/rc.local
#添加以下两行
export JAVA_HOME=/export/servers/jdk
/export/servers/zookeeper/bin/zkServer.sh start

第二种：把zookeeper做成服务

1、进入到/etc/rc.d/init.d目录下，新建一个zookeeper脚本

[root@hadoop001 ~]# cd /etc/rc.d/init.d/
[root@hadoop001 init.d]# pwd
/etc/rc.d/init.d
[root@hadoop001 init.d]# touch zookeeper

2、给脚本添加执行权限

[root@hadoop001 init.d]# chmod +x zookeeper

3.编辑 zookeeper使用命令vim

[root@zookeeper init.d]# vim zookeeper 

#!/bin/bash
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper
export JAVA_HOME=/export/servers/jdk
case $1 in
        start) /export/servers/zookeeper/bin/zkServer.sh start;;
        stop) /export/servers/zookeeper/bin/zkServer.sh stop;;
        status) /export/servers/zookeeper/bin/zkServer.sh status;;
        restart) /export/servers/zookeeper/bin/zkServer.sh restart;;
        *) echo "require start|stop|status|restart" ;;
esac

4、使用service zookeeper start/stop命令来尝试启动关闭zookeeper，使用service zookeeper status查看zookeeper状态。

[root@hadoop001 init.d]# service zookeeper status
ZooKeeper JMX enabled by default
Using config: /export/servers/zookeeper/bin/../conf/zoo.cfg
Mode: follower

5、添加到开机自启

[root@hadoop001 init.d]# chkconfig --add zookeeper