基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务5:ZooKeeper集群安装

server/2024/10/21 9:40:15/

任务描述

ZooKeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用ZooKeeper的集群管理功能。在这里使用ZooKeeper配合实现HBase元数据管理。

任务的主要内容为在master1、slave1、slaver2三个从节点上安装ZooKeeper,分别启动ZooKeeper并验证可用性。

任务指导

ZooKeeper集群是Hadoop集群的高可用(HA)必不可少的协处理框架,主要功能是对主节点(NameNode、ResourceManager)的状态监控及发生故障时进行主节点的自动切换。

ZooKeeper集群需要在主节点发生故障时进行领导者投票,故集群的数量应该为 2n+1 个且n >= 1。

ZooKeeper的安装步骤如下:

1、解压缩安装包到安装目录

2、配置ZooKeeper的系统环境变量,此步骤的主要目的是让ZooKeeper相关的命令能在系统的任意目录都可以执行

3、配置ZooKeeper配置文件zoo.cfg及myid文件

任务实现

      ZooKeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用ZooKeeper的集群管理功能。

本集群使用 zookeeper-3.4.13.tar.gz 版本。首先在master1节点安装Zookeeper,方法如下:

进入压缩包所在目录:

[root@master1 ~]# cd /opt/software

 解压ZooKeeper安装包到/opt/app安装目录:

[root@master1 software]# tar -zxf zookeeper-3.4.13.tar.gz -C /opt/app/

在master、slave1、slave2分别配置用户环境变量(这里以master1为例):

[root@master1 software]# vi /etc/profile
export ZK_HOME=/opt/app/zookeeper-3.4.13
export PATH=$PATH:$ZK_HOME/bin

使修改的环境变量生效:

[root@master1 ~]# source /etc/profile

修改ZooKeeper的配置文件:

[root@master1 ~]# cd $ZK_HOME/conf/
[root@master1 conf]# cp zoo_sample.cfg zoo.cfg
[root@master1 conf]# vi zoo.cfg

修改zoo.cfg中的内容,具体如下所示:

# 客户端心跳时间(毫秒)
tickTime=2000
# 允许心跳间隔的最大时间
initLimit=10
# 同步时限
syncLimit=5
# 数据存储目录
dataDir=/opt/app/zookeeper-3.4.13/data
# 数据日志存储目录
dataLogDir=/opt/app/zookeeper-3.4.13/data/log
# 端口号
clientPort=2181
# 集群节点和服务端口配置
server.1=master1:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
# 以下为优化配置
# 服务器最大连接数,默认为10,改为0表示无限制
maxClientCnxns=0
# 快照数
autopurge.snapRetainCount=3
# 快照清理时间,默认为0
autopurge.purgeInterval=1

创建ZooKeeper的数据存储目录和日志存储目录:

[root@master1 ~]# cd $ZK_HOME/
[root@master1 zookeeper-3.4.13]# mkdir data
[root@master1 zookeeper-3.4.13]# mkdir data/log

在data目录中创建一个文件myid,输入内容为1

[root@master1 zookeeper-3.4.13]# echo "1" > /opt/app/zookeeper-3.4.13/data/myid

   

修改ZooKeeper的日志配置文件

[root@master1 zookeeper-3.4.13]# vi /opt/app/zookeeper-3.4.13/conf/log4j.properties
# 修改 zookeeper.root.logger= 项的值如下
zookeeper.root.logger=INFO,ROLLINGFILE

创建日志目录

[root@master1 ~]# mkdir /opt/app/zookeeper-3.4.13/logs

将master1节点上的ZooKeeper目录同步到slave1和slave2节点,并修改ZooKeeper的数据文件。此外,不要忘记设置用户环境变量。

在slave1中将ZooKeeper目录复制到其它节点

[root@master1 ~]# scp -r /opt/app/zookeeper-3.4.13 slave1:/opt/app/
[root@master1 ~]# scp -r /opt/app/zookeeper-3.4.13 slave2:/opt/app/

在slave1中修改data目录中的myid文件

[root@slave1 ~]# echo "2" > /opt/app/zookeeper-3.4.13/data/myid

在slave3中修改data目录中的myid文件

[root@slave2 ~]# echo "3" > /opt/app/zookeeper-3.4.13/data/myid

最后,在安装了ZooKeeper的各节点上启动ZooKeeper,并查看节点状态,方法如下:

在master1、slave1、slave2启动zkServer

[root@master1 ~]# zkServer.sh start
[root@slave1 ~]# zkServer.sh start
[root@slave2 ~]# zkServer.sh start

在集群所有节点(master、slave1、slave2)中查看状态

# zkServer.sh status

回显如下

[root@master1 ~]#  zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower[root@slave1 ~]#  zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: leader[root@slave2 ~]#  zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/app/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: follower

可以看到【slave1】的【Mode】为【leader】其余的都为【follower】则表示集群正常启动。

注意:各节点的【Mode】状态是随机的,只要整个集群中有一个【leader】其余的都是【follower】则集群就是正常的。

关闭ZooKeeper命令如下

# zkServer.sh stop

http://www.ppmy.cn/server/55411.html

相关文章

Ubuntu 22.04远程自动登录桌面环境

如果需要远程自动登录桌面环境,首先需要将Ubuntu的自动登录打开,在【settings】-【user】下面 然后要设置【Sharing】进行桌面共享,Ubuntu有自带的桌面共享功能,不需要另外去安装xrdp或者vnc之类的工具了 点开【Remote Desktop】…

serverless

只写方法,其他的不用管。没有服务器 第一个例子 让我们通过一个具体的案例来理解Serverless架构的意义和工作方式。 案例:社交媒体图片处理服务 背景 假设你正在为一个社交媒体平台开发一项功能,用户可以上传个人照片,系统自动…

我的世界服务器-高版本服务器-MC服务器-生存服务器-RPG服务器-幻世星辰

生存为主,RPG乐趣为辅,重视每位玩家的建议,一起打造心目中的服务器,与小伙伴一起探险我的世界! 服务器版本: 1.18.2 ~ 1.20.4 Q群: 338238381 服务器官网: 星辰毛毛雨-Minecraft高版本生存服务器我的世界…

Golang 开发实战day15 - Input info

🏆个人专栏 🤺 leetcode 🧗 Leetcode Prime 🏇 Golang20天教程 🚴‍♂️ Java问题收集园地 🌴 成长感悟 欢迎大家观看,不执着于追求顶峰,只享受探索过程 Golang 开发实战day15 - 用户…

如何在开发过程中减少 Bug?

爱因斯坦曾说过:“如果我有一个小时来解决一个关系到我生死的问题,我会花55分钟弄清楚问题是什么。一旦我知道了问题是什么,我可以在五分钟内解决它。” 虽然我们的软件开发过程并不涉及生死抉择,但它直接影响用户体验&#xff0c…

python 基础综合应用——小开发

#python 基础综合应用——小开发 综合复习 变量- 循环- 函数- 模块 开发 名片管理系统 名片管理系统介绍 名片管理系统可以理解成花名册软件,通过个人新建人的信息后可以进行查询等简单操作的程序 名片管理系统有三个作用, 1.新建名片 2.显示全部名…

Qt涂鸦板

Qt版本&#xff1a;Qt6 具体代码&#xff1a; 头文件 dialog.h #ifndef DIALOG_H #define DIALOG_H#include <QDialog>QT_BEGIN_NAMESPACE namespace Ui { class Dialog; } QT_END_NAMESPACEclass Dialog : public QDialog {Q_OBJECTpublic:Dialog(QWidget *parent n…

中介子方程四十三

XXFXXaXnXaXXαXLXyXXWXuXeXkXeXuXWXXyXLXαXXaXnXaXXFXXaXnXaXXαXLXyXXWXuXeXkXeXuXWXXyXLXαXXaXnXaXXFXXuXXWXXuXXdXXrXXαXXuXpXXKXηXiXXnXXyXηXuXXrXXaXnXXαXLXyXXWXuXeXkXeXuXWXXyXLXαXXnXaXXrXXuXηXyXXnXXiXηXKXXpXuXXαXXrXXdXXuXWXπXXWXeXyXeXbXπXpXXNXXqXeX…