【zookeeper】zookeeper集群安装

news/2024/11/15 6:01:54/

环境规划

实际的生产使用中，我们一般推荐搭建奇数多节点的zookeeper集群，如3/5/7。在本次测试中，我使用了centos7 三台服务器搭建，复用了我搭建k8s集群的环境，如下表。

IPhostname
192.168.2.140k8s-m1
192.168.2.141k8s-m2
192.168.2.142k8s-m3

此次部署的zookeeper版本为3.7.1

java安装

java版本要求

由于zookeeper服务需要java，至于版本要求，可以先将zookeeper的包下载下来解压后查看README.md 文件，里面相应说明。如 apache-zookeeper-3.7.1版本。

[root@k8s-m1 apache-zookeeper-3.7.1-bin]# cat /opt/apache-zookeeper-3.7.1-bin/README.md 
.....
## Java 8
If you are going to compile with Java 1.8, you should use a
recent release at u211 or above
#说明java8的话需要u211以及以上版本

下面提供一个java安装的脚本，需要先下载这个包。直接在oracle上下载貌似要注册账号密码，之前用的下面的命令下载包，但是现在应该不行了。反正先找一个比要求版本高的jdk包安装就行。

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz

java安装脚本

注意java需要在所有zookeeper节点上安装，我这就包括k8s-m1、k8s-m2、k8s-m3三个节点。

[root@k8s-m1 ~]# cat install_java.sh 
#!/bin/bash
java -version
if [ $? = 0 ];thenecho "Java is installed"
elseecho "installing Java...."tar -zxf ./jdk-8u65-linux-x64.tar.gz -C /opt/JAVA_HOME="/opt/jdk1.8.0_65"echo "export JAVA_HOME=/opt/jdk1.8.0_65" >> /etc/profileecho "export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /etc/profileecho "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profileecho "installed successful"
fi
source /etc/profile
exit##运行脚本
[root@k8s-m1 ~]# sh -x install_java.sh 
[root@k8s-m1 ~]# java -version
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
#找不到命令可以再执行一下source /etc/profile

zookeeper安装

安装包下载

下载地址https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/，目前该网站还可以下载历史版本的安装包。我们此次使用的是3.7.1版本。注意带有bin名称的包才是我们想要的下载可以直接使用的，里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

[root@k8s-m1 ~]# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz[root@k8s-m1 ~]# tar -zxf apache-zookeeper-3.7.1-bin.tar.gz -C /opt/
[root@k8s-m1 ~]# cd /opt/apache-zookeeper-3.7.1-bin/[root@k8s-m1 apache-zookeeper-3.7.1-bin]# ls
bin  conf  docs  lib  LICENSE.txt  log  logs  NOTICE.txt  README.md  README_packaging.md[root@k8s-m1 apache-zookeeper-3.7.1-bin]# ll lib/zookeeper-3.7.1.jar 
-rw-r--r-- 1 kmc kmc 1305907 May  7  2022 lib/zookeeper-3.7.1.jar

配置更改

默认有一个zoo_sample.cfg的配置文件，我们可以留着。直接新创建一个配置文件后再进行修改。修改完成后，可以将整个文件夹拷贝到其他两个节点再更改部分配置。

[root@k8s-m1 apache-zookeeper-3.7.1-bin]# cd conf/
[root@k8s-m1 apache-zookeeper-3.7.1-bin]# vi zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeperData
dataLogDir=/zookeeperDataLog
clientPort=2181
server.1=192.168.2.140:2888:3888
server.2=192.168.2.141:2888:3888
server.3=192.168.2.142:2888:3888
4lw.commands.whitelist=*
maxClientCnxns=1000
minSessionTimeout=30000
maxSessionTimeout=60000
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
#globalOutstandingLimit=200
#preAllocSize=131072
#snapCount=300000
#leaderServes=yes#还需要创建上面配置中使用的两个目录，3个节点都需要创建
[root@k8s-m1 apache-zookeeper-3.7.1-bin]# mkdir -p /zookeeperData
[root@k8s-m1 apache-zookeeper-3.7.1-bin]# mkdir -p /zookeeperDataLog

部分配置说明：

  • tickTime：心跳基本时间单位，毫秒级，ZK基本上所有的时间都是这个时间的整数倍。

  • initLimit：tickTime的个数（倍数），表示在leader选举结束后，followers与leader同步需要的时间，如果followers比较多或者说leader的数据灰常多时，同步时间相应可能会增加，那么这个值也需要相应增加。当然，这个值也是follower和observer在开始同步leader的数据时的最大等待时间(setSoTimeout)

  • syncLimit：tickTime的个数（倍数），这时间容易和上面的时间混淆，它也表示follower和observer与leader交互时的最大等待时间，只不过是在与leader同步完毕之后，进入正常请求转发或ping等消息交互时的超时时间。

  • dataDir：内存数据库快照存放地址，如果没有指定事务日志存放地址(dataLogDir)，默认也是存放在这个路径下，建议两个地址分开存放到不同的设备上。

  • clientPort：配置ZK监听客户端连接的端口

  • server.serverid=host:tickpot:electionport

    • server：固定写法
    • serverid：每个服务器的指定ID（必须处于1-255之间，必须每一台机器不能重复）
    • host：主机名
    • tickpot：心跳通信端口
    • electionport：选举端口

  • maxClientCnxns：默认值是10，一个客户端能够连接到同一个服务器上的最大连接数，根据IP来区分。如果设置为0，表示没有任何限制。设置该值一方面是为了防止DoS攻击。

  • minSessionTimeout：最小的session time时间，默认值是2个tick time,客户端设置的session time 如果小于这个值，则会被强制协调为这个最小值。

  • maxSessionTimeout：最大的session time 时间，默认值是20个tick time. ,客户端设置的session time 如果大于这个值，则会被强制协调为这个最大值。

  • globalOutstandingLimit：(Java system property: zookeeper.globalOutstandingLimit)默认值是1000，限定了所有连接到服务器上但是还没有返回响应的请求个数(所有客户端请求的总数，不是连接总数)，这个参数是针对单台服务器而言，设定太大可能会导致内存溢出。

  • preAllocSize：(Java system property: zookeeper.preAllocSize)默认值64M，以KB为单位,预先分配额定空间用于后续transactionlog 写入，每当剩余空间小于4K时，就会又分配64M，如此循环。如果SNAP做得比较频繁(snapCount比较小的时候)，那么请减少这个值。

  • snapCount：(Java system property: zookeeper.snapCount)默认值100,000，当transaction每达到snapCount/2+rand.nextInt(snapCount/2)时，就做一次SNAPSHOT,默认情况下是50,000~100,000条transactionlog就会做一次，之所以用随机数是为了避免所有服务器可能在同一时间做snapshot.

分发文件

[root@k8s-m1 conf]# scp -r /opt/apache-zookeeper-3.7.1-bin/ 192.168.2.141:/opt/
[root@k8s-m1 conf]# scp -r /opt/apache-zookeeper-3.7.1-bin/ 192.168.2.142:/opt/

serverid 配置

最重要的步骤，一定不能忘了。 需要去的各个 ZooKeeper 服务器节点，在新建的dataDir目录中，这个目录就是在 zoo.cfg 中配置的 dataDir 的目录，新建一个名叫 myid的文件，该文件里面的内容就是服务器的 id，而id就是 server.1=192.168.2.140:2888:3888当中对应的id，如k8s-m1节点上myid的内容为1，：

[root@k8s-m1 zookeeperData]# cat  myid 
1

其他两个节点配置类似依次为2，3。 到此，我们 ZooKeeper相关的配置文件就修改完成了。

zookeeper服务启动与停止

3台服务器都需要操作

[root@k8s-m1 ~]# /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start
[root@k8s-m1 ~]# /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh stop

zookeeper服务检查

#进程检查，3台机器上都有QuorumPeerMain进程
[root@k8s-m1 opt]# jps | grep QuorumPeerMain
10277 QuorumPeerMain
[root@k8s-m1 opt]# ps -ef |grep zookeeper# 角色查询
[root@k8s-m1 opt]# /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/apache-zookeeper-3.7.1-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

通过系统服务管理zookeeper

有时候时间久了不记得zookeeper的目录，或者为了方便对zookeeper服务的管理等。3台服务器都需要进行操作。

[root@k8s-m1 ~]# cat /usr/lib/systemd/system/zookeeper.service [Unit]Description=Zookeeper serviceAfter=network.target[Service]Type=simpleEnvironment=ZOO_LOG_DIR=/opt/apache-zookeeper-3.7.1-bin/logPIDFile=/zookeeperData/zookeeper_server.pidExecStart=/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh startExecStop=/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh stop[Install]WantedBy=multi-user.target

通过systemctl来管理zookeeper需要修改zkServer.sh 文件。大致位置如下，只需要添加java的home路径

vim /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh
......
# use POSIX interface, symlink is followed automatically
ZOOBIN="${BASH_SOURCE-$0}"
ZOOBIN="$(dirname "${ZOOBIN}")"
ZOOBINDIR="$(cd "${ZOOBIN}"; pwd)"
JAVA_HOME='/opt/jdk1.8.0_65
......

然后就可以用systemctl来管理zookeeper

[root@k8s-m1 apache-zookeeper-3.7.1-bin]# systemctl enable zookeeper.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/zookeeper.service to /usr/lib/systemd/system/zookeeper.service.
[root@k8s-m1 apache-zookeeper-3.7.1-bin]# systemctl start zookeeper.service 
[root@k8s-m1 apache-zookeeper-3.7.1-bin]# systemctl status zookeeper.service

更多关于zookeeper的知识分享，请前往博客主页。编写过程中，难免出现差错，敬请指出


http://www.ppmy.cn/news/1084332.html

相关文章

羊城杯-2023-Crypto

羊城杯-2023-Crypto

文章目录 Danger_RSA题目描述：题目分析： Easy_3L题目描述：题目分析： XOR贯穿始终题目描述：题目分析： MCeorpkpleer题目描述：题目分析： SigninCrypto题目描述：题目分析&am…
阅读更多...
《机器学习在车险定价中的应用》实验报告

《机器学习在车险定价中的应用》实验报告

目录 一、实验题目 机器学习在车险定价中的应用 二、实验设置 1. 操作系统： 2. IDE： 3. python： 4. 库： 三、实验内容 实验前的猜想： 四、实验结果 1. 数据预处理及数据划分 独热编码处理结果（以…
阅读更多...
【learnopengl】Assimp构建与编译

【learnopengl】Assimp构建与编译

文章目录 【learnopengl】Assimp构建与编译1 前言2 Assimp构建与编译2.1 下载源码2.2 CMake构建2.3 VS2022编译 3 在VS中配置Assimp库4 验证 【learnopengl】Assimp构建与编译 1 前言 最近在跟着LearnOpenGL这个网站学习OpenGL，这篇文章详细记录一下教程中关于Ass…
阅读更多...
【德哥说库系列】-ASM管理Oracle 19C单实例部署

【德哥说库系列】-ASM管理Oracle 19C单实例部署

📢📢📢📣📣📣 哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】！😜&am…
阅读更多...
总结梳理HTTP状态码

总结梳理HTTP状态码

前端开发中和后端联调时总会遇到一些状态码的问题，本文用于介绍一些常见的状态码，以及遇到这些状态码应该如何进行排查。 400 Bad Request - 请求无效。 表示客户端发送的请求存在语法错误，服务器无法理解或处理该请求的语法或参数。这通常…
阅读更多...
介绍几种使用工具

介绍几种使用工具

FileWatch，观测文件变化，源码地址：https://github.com/ThomasMonkman/filewatch nlohmann::json，json封装解析，源码地址：https://github.com/nlohmann/json optionparser，解析选项，源…
阅读更多...
简明易懂：Python中的分支与循环

简明易懂：Python中的分支与循环

文章目录 前言分支结构if 语句：单一条件判断else语句：提供备选方案elif 语句：多条件判断嵌套的分支结构：复杂条件逻辑 循环结构for循环：遍历序列range()函数与for循环while循环：条件重复循环控制&#xff1…
阅读更多...
从Matrix-ResourceCanary看内存快照生成-ForkAnalyseProcessor(2)

从Matrix-ResourceCanary看内存快照生成-ForkAnalyseProcessor(2)

不同于LeakCanary，在Matrix中，主要是通过Resource Canary来监控内存泄漏问题的，且监听的泄漏对象只支持Activity，官方说明如下： 结合分析LeakCanary的经验可知，要实现Activity内存泄漏监听，总体上应该要实现两大功能： Activity生命周期监控查找泄漏对象并得到GC Root P…
阅读更多...
最新文章

Copyright @ 2022~2023