Hadoop HA高可用搭建

原理说明

这个步骤不用做，目前大数据虚拟机已经配置好了！

echo 'DNS1=8.8.8.8' >> /etc/sysconfig/network-scripts/ifcfg-ens33 
systemctl restart networkping www.baidu.com

安装软件

node1/node2/node3：

yum install psmisc -y  # 增加kill命令 => kill -9 进程id，可以杀死所有相关进程 => 还可以使用killall命令

hadoop_23">备份hadoop安装信息

node1/node2/node3：

cd
stop-all.sh
tar -cvf hadoop.tar /export/server/hadoop-3.3.0-cvf ：打包（没有压缩），添加了-z压缩
-c：打包
-vf：显示执行进度

删除原有数据文件（搭建服务时执行）

node1/node2/node3：

rm -rf /export/data/hadoop-3.3.0

修改配置文件（重点）

以下配置只需要在node1上完成，完成后拷贝到node2/node3：

cd /export/server/hadoop-3.3.0/etc/hadoop

• 修改hadoop-env.sh

# 在文件最后添加下面两行
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

• 修改core-site.xml

<configuration><!-- HA集群名称，该值要和hdfs-site.xml中的配置保持一致 --><property><name>fs.defaultFS</name><value>hdfs://cluster1</value></property><!-- hadoop本地磁盘存放数据的公共目录 --><property><name>hadoop.tmp.dir</name><value>/export/data/ha-hadoop</value></property><!-- ZooKeeper集群的地址和端口--><property><name>ha.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value></property>
</configuration>

注意：在一个XML文件中，只能有一个

• 修改hdfs-site.xml

<configuration><!--指定hdfs的nameservice为cluster1，需要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>cluster1</value></property><!-- cluster1下面有两个NameNode，分别是nn1，nn2 --><property><name>dfs.ha.namenodes.cluster1</name><value>nn1,nn2</value></property><!-- nn1的RPC通信地址 --><property><name>dfs.namenode.rpc-address.cluster1.nn1</name><value>node1:8020</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.cluster1.nn1</name><value>node1:9870</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.cluster1.nn2</name><value>node2:8020</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.cluster1.nn2</name><value>node2:9870</value></property><!-- 指定NameNode的edits元数据在JournalNode上的存放位置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://node1:8485;node2:8485;node3:8485/cluster1</value></property><!-- 指定JournalNode在本地磁盘存放数据的位置 --><property><name>dfs.journalnode.edits.dir</name><value>/export/data/journaldata</value></property><!-- 开启NameNode故障自动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 指定该集群出故障时，哪个实现类负责执行故障切换 --><property><name>dfs.client.failover.proxy.provider.cluster1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制方法--><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><!-- 使用sshfence隔离机制时需要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><!-- 配置sshfence隔离机制超时时间 --><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property>
</configuration>

• 修改yarn-site.xml

<configuration><!-- 开启RM高可用 --><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><!-- 指定RM的cluster id --><property><name>yarn.resourcemanager.cluster-id</name><value>yrc</value></property><!-- 指定RM的名字 --><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><!-- 分别指定RM的地址 --><property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>node2</value></property><!-- 指定zk集群地址 --><property><name>yarn.resourcemanager.zk-address</name><value>node1:2181,node2:2181,node3:2181</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

注意: 将hadoop配置信息拷贝到node2和node3

注意: 将hadoop配置信息拷贝到node2和node3

注意: 将hadoop配置信息拷贝到node2和node3

cd /export/server/hadoop-3.3.0/etc
scp -r hadoop node2:$PWD
scp -r hadoop node3:$PWD

启动（注意顺序以及启动机器）

• 启动zk

  zkServer.sh start（配置了环境变量，直接启动，没有配置则进入Zookeeper的bin目录，手工启动）

  node1/node2/node3:

  cd /export/server/zookeeper
  bin/zkServer.sh start
  

• 启动journalnode(node1/node2/node3)

  hdfs --daemon start journalnode
  

  注意：journalnode启动完毕后，一定要等待8485端口被java进程所占用然后在执行下方操作！！！

  netstat -naltp |grep 8485

• 初始化namenode 注意:node1上执行

  hdfs namenode -format
  

  • 将数据文件拷贝到node2相同目录(node2上也有namenode节点)

  cd /export/data
  scp -r ha-hadoop node2:$PWD
  

• 初始化zkfc 注意在node1上执行

  hdfs zkfc -formatZK
  

• 启动服务

  hdfs --daemon stop journalnode     =>   node1/node2/node3
  start-all.sh   =>  node1
  

常见问题

① 如果node2中namenode角色没有启动

答：手工启动 => hdfs --daemon start namenode

注意：如果手工启动有异常，一定要进入logs目录，查看错误原因

② Web界面无法上传文件

答：修改权限即可# hadoop fs -chmod -R 777 /

③ node1:9870或者node2:9870某台机器无法阅读文件列表

答：不是错误，是因为当前你可能处于了standby备机，切换到另一个节点即可。因为对外提供服务器时，只有一个namenode处于工作状态。

若有错误与不足请指出，关注DPT一起进步吧！！！