Hadoop高可用集群搭建

news/2025/1/12 9:38:48/

在三台虚拟机上搭建具有两个NameNode节点和两个ResourceManager节点的Hadoop高可用集群。步骤如下:

1.在3台虚拟机中的/export/servers目录中创建目录hadoop-HA,用于存放部署Hadoop高可用集群的Hadoop安装目录,命令如下:

2.安装Hadoop,以解压缩的方式安装Hadoop,将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。命令如下:

3.修改系统环境变量,将HADOOP_HOME变量的值修改为

Hadoop高可用集群的Hadoop安装目录,命令如下:

4.为了让系统环境变量文件中修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

5.验证系统环境变量是否修改成功,执行如下命令,查看当前虚拟机中Hadoop的版本号

6.进入到Hadoop的安装目录下的etc/hadoop目录,修改hadoop-env.sh文件,修改内容如下:

7.修改core-site.xml文件,添加内容如下:

8.执行vi hdfs-site.xml命令,对该文件进行修改,添加内容如下:

9.执行vi mapres-site.xml命令,对该文件进行修改,添加内容如下:

10. 执行vi yarn-site.xml命令,对该文件进行修改,添加内容如下:

11.执行vi workers命令,将配置文件中workers的内容修改如下内容:

12.分发Hadoop安装目录,将liumengting1的/export/servers/hadoop-HA/hadoop-3.3.4目录分发至虚拟机liumengting2、liumengting3的/export/servers/hadoop-HA目录,命令如下:

13.分发系统环境变量文件,使用scp命令将虚拟机liumengting1的系统环境变量文件profile分发至虚拟机liumengting2、liumengting3的/etc目录,具体命令如下:

14.为了让虚拟机liumengting2、liumengting3中系统环境变量文件中的修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

15.开启完全分布模式部署的ZooKeeper

16. 启动JournalNode,Hadoop高可用集群在进行格式化HDFS文件系统时会向Qurom Journal Manager写入EditLog,因此在格式化HDFS文件系统之前,需要分别在虚拟机Hadoop1、Hadoop2和Hadoop3中执行如下命令启动JournalNode:

17. 启动JournalNode后,分别在2台虚拟机上执行jps命令,查看JournalNode是否成功开启,若出现JournalNode进程,则说明启动成功,具体效果如下:

18.格式化HDFS文件系统,命令如下:

19.同步NameNode,将虚拟机liumengting1存储FSImage文件的目录分发至虚拟机liumengting2存储FSImage文件的目录,在虚拟机liumengting中执行如下命令:

20.格式化ZKFC,命令如下:

21.启动HDFS,命令如下:

22.在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

33.启动YARN

34. 在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

35.查看NameNode状态信息,访问如下两个地址,虚拟机liumengting1是standby状态,虚拟机liumengting2是active状态,效果如下所示:

36.查看ResourceManager,,访问如下两个地址,效果如下图所示:

37.测试主备切换,在虚拟机liumengting2中关闭状态为active的NameNode和ResourceManager,命令如下所示:

38.再次进行这四个地址的访问,效果如下:

1.在3台虚拟机中的/export/servers目录中创建目录hadoop-HA,用于存放部署Hadoop高可用集群的Hadoop安装目录,命令如下:

2.安装Hadoop,以解压缩的方式安装Hadoop,将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。命令如下:

3.修改系统环境变量,将HADOOP_HOME变量的值修改为

Hadoop高可用集群的Hadoop安装目录,命令如下:

4.为了让系统环境变量文件中修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

5.验证系统环境变量是否修改成功,执行如下命令,查看当前虚拟机中Hadoop的版本号

6.进入到Hadoop的安装目录下的etc/hadoop目录,修改hadoop-env.sh文件,修改内容如下:

7.修改core-site.xml文件,添加内容如下:

8.执行vi hdfs-site.xml命令,对该文件进行修改,添加内容如下:

9.执行vi mapres-site.xml命令,对该文件进行修改,添加内容如下:

10. 执行vi yarn-site.xml命令,对该文件进行修改,添加内容如下:

11.执行vi workers命令,将配置文件中workers的内容修改如下内容:

12.分发Hadoop安装目录,将liumengting1的/export/servers/hadoop-HA/hadoop-3.3.4目录分发至虚拟机liumengting2、liumengting3的/export/servers/hadoop-HA目录,命令如下:

13.分发系统环境变量文件,使用scp命令将虚拟机liumengting1的系统环境变量文件profile分发至虚拟机liumengting2、liumengting3的/etc目录,具体命令如下:

14.为了让虚拟机liumengting2、liumengting3中系统环境变量文件中的修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

15.开启完全分布模式部署的ZooKeeper

16. 启动JournalNode,Hadoop高可用集群在进行格式化HDFS文件系统时会向Qurom Journal Manager写入EditLog,因此在格式化HDFS文件系统之前,需要分别在虚拟机Hadoop1、Hadoop2和Hadoop3中执行如下命令启动JournalNode:

17. 启动JournalNode后,分别在2台虚拟机上执行jps命令,查看JournalNode是否成功开启,若出现JournalNode进程,则说明启动成功,具体效果如下:

18.格式化HDFS文件系统,命令如下:

19.同步NameNode,将虚拟机liumengting1存储FSImage文件的目录分发至虚拟机liumengting2存储FSImage文件的目录,在虚拟机liumengting中执行如下命令:

20.格式化ZKFC,命令如下:

21.启动HDFS,命令如下:

22.在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

33.启动YARN

34. 在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

35.查看NameNode状态信息,访问如下两个地址,虚拟机liumengting1是standby状态,虚拟机liumengting2是active状态,效果如下所示:

36.查看ResourceManager,,访问如下两个地址,效果如下图所示:

37.测试主备切换,在虚拟机liumengting2中关闭状态为active的NameNode和ResourceManager,命令如下所示:

38.再次进行这四个地址的访问,效果如下:


http://www.ppmy.cn/news/1562461.html

相关文章

JavaWeb—Servlet详解

前言: 本章节主要学习Servlet基础知识点,收录于JavaWeb系列,该系列主要讲解Servlet、JSP、Filter过滤器、Session、分层开发概念等知识点,欢迎童鞋们互相交流。觉得不错可以三连订阅喔。 目标: 一、概念 二、入门程…

【灵码助力安全2】——利用通义灵码辅助复现未公开漏洞的实践

前言 暨上一篇【灵码助力安全1】——利用通义灵码辅助快速代码审计的最佳实践之后,这第二篇主要是想分享一下通义灵码在复现未公开漏洞方面的应用,当然,前提也是必须得有相应的源码。 有的时候,由于安全人员水平的限制和时间、…

Redis 三大问题:缓存穿透、缓存击穿、缓存雪崩

Redis 作为高性能的内存数据库,广泛应用于缓存场景。然而,在实际使用中,可能会遇到三大经典问题:缓存穿透、缓存击穿 和 缓存雪崩。这些问题如果不加以解决,可能会导致系统性能下降甚至崩溃。 1. 缓存穿透 问题描述 …

ChatGPT 网络配置问题解决方案

随着人工智能技术的飞速发展,基于GPT架构的聊天机器人,如ChatGPT,已经在多个领域获得了广泛应用。其强大的自然语言处理能力为用户带来了便捷的交互体验。然而,在实际使用过程中,尤其是在部署和访问时,用户…

自动化之数据库:docker部署mongo,为下一步的使用打下基础

以下是一个详细的Docker Compose配置示例,用于设置一个包含三个节点的MongoDB副本集,并确保安全性(使用账号密码进行认证)。所有节点都将设置在同一个Docker网络( py-mongo )下,以便于未来的扩…

你知道APP是怎么开发的吗?

你知道APP是怎么开发的吗? 你知道APP是怎么开发的吗?如何将开发完成的APP发布在应用市场?如何在阿里云上实现一站式App的开发、测试、运维、运营? 你知道APP是怎么开发的吗? 作为后端开发者,尽管我的主要工…

数据结构——查找二叉树

二叉搜索树的概念 如图所示&#xff0c;二叉搜索树&#xff08;binary search tree&#xff09;满足以下条件。 对于根节点&#xff0c;左子树中所有节点的值 < 根节点的值 < 右子树中所有节点的值。任意节点的左、右子树也是二叉搜索树&#xff0c;即同样满足条件 1. …

【docker】exec /entrypoint.sh: no such file or directory

dockerfile生成的image 报错内容&#xff1a; exec /entrypoint.sh: no such file or directory查看文件正常在此路径&#xff0c;但是就是报错没找到。 可能是因为sh文件的换行符使用了win的。