HDFS完全分布模式安装部署

本次实验请在hadoop01、hadoop02和hadoop03上完成

实验步骤

前提条件：ZooKeeper集群模式已经部署完成。
获取安装包：安装包在本地：可通过XFTP等工具进行上传；安装包在网络：虚拟机可以访问互联网：可直接通过wget命令将安装包下载到虚拟机中；虚拟机无法访问互联网：需要提前将安装包下载到本地磁盘中，再通过上传工具上传到虚拟机中
对安装包进行解压缩
对解压缩出来的安装目录进行重命名
配置环境变量
刷新环境变量
验证是否安装成功
修改Hadoop的相关配置文件
修改core-site.xml配置文件
修改hdfs-site.xml配置文件
修改mapred-site.xml配置文件
修改yarn-site.xml配置文件
修改hadoop-env.sh配置文件
修改slaves文件
将修改好的文件和目录分发给集群中其他节点
分发hadoop的安装目录
分发profile环境变量文件
格式化NameNode
启动HDFS的服务进程

实验过程

步骤1 通过XFTP工具（其他工具也可以）将hadoop的安装包上传到虚拟机中

步骤2 查看软件包是否上传成功

[root@hadoop01 ~]# ll

输出结果，如下图所示（有红框里面的就可以了）

步骤3 将hadoop的安装包解压到指定的安装目录

[root@hadoop01 ~]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/install/

步骤4 对解压出来的安装目录进行重命名

[root@hadoop01 install]# cd /opt/install/

[root@hadoop01 install]# mv hadoop-2.7.7/ hadoop

输出结果，如下图所示

步骤5 配置Hadoop的环境变量
[root@hadoop01 install]# vim /etc/profile

export HADOOP_HOME=/opt/install/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

输出结果，如下图所示

步骤6 刷新环境变量，使新增的环境变量生效

[root@hadoop01 install]# source /etc/profile

步骤7 验证Hadoop是否已经安装成功

[root@hadoop01 install]# hadoop version

输出结果，如下图所示

步骤8 切换到hadoop配置文件所在的目录

[root@hadoop01 install]# cd hadoop/etc/hadoop/

步骤9 修改core-site.xml配置文件

[root@hadoop01 hadoop]# vim core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/17.12.31/install/hadoop/hdfs</value>
</property>

输出结果，如下图所示

步骤10 修改hdfs-site.xml配置文件

[root@hadoop01 hadoop]# vim hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>

输出结果，如下图所示

步骤11 修改mapred-site.xml配置文件

[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop01 hadoop]# vim mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

输出结果，如下图所示

步骤12 修改yarn-site.xml配置文件
[root@hadoop01 hadoop]# vim yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

输出结果，如下图所示