部署Hadoop高可用集群

news/2025/2/9 12:32:11/

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1.为虚拟机Hadoop1,2,3拍摄快照以免后续错误操作

2.创建hadoop-HA目录区分之前的集群并将Hadoop安装到该目录下

3.进入/etc目录修改系统环境变量

4.执行source /etc/profile初始化系统环境变量

5.验证系统环境变量是否修改成功

6.修改配置文件

(1)修改hadoop-env.sh配置文件

(2)修改core-site.xml配置文件

(3)修改hdfs-site.xml配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改workers配置文件

7.分发Hadoop安装目录

8.分发系统环境变量文件

9.初始化系统环境变量

10.启动Hadoop高可用集群

(1)启动JournalNode,启动后执行jps命令查看三台虚拟机的进程

(2)格式化HDFS文件系统,显示成功格式化

(3)同步NameNode

(4)格式化ZKFC,显示成功格式化

(5)启动HDFS,执行jps查看进程

(6)启动YARN,执行jps查看进程

11.查看NameNode状态信息,hadoop1为active,hadoop2为standby

12.查看ResourceManager状态信息,hadoop1为standby,hadoop2为active

13.测试主备切换,关闭状态为active的namenode和resourcemanager

14.再次查看状态信息,Hadoop1的NameNode无法访问,ResouceManager变为active状态;Hadoop2的NameNode变成active状态,ResouceManager无法访问,表明切换成功


http://www.ppmy.cn/news/1570577.html

相关文章

深度剖析 Redisson 分布式锁:原理、实现与应用实践

文章目录 写在文章开头详解Redisson 分布式锁使用和实现前置准备工作分布式锁的基本使用公平锁的使用联锁的使用读写锁基本使用常见问题Redisson和Jedis有什么区别redisson如何实现分布式锁redisson如何实现分布式锁的可重入redisson如何实现公平锁Redisson的watchdog机制是什么…

Elasticsearch 高级技巧

Elasticsearch 高级技巧 1. 优化查询 使用过滤器(Filter)而不是查询(Query) Elasticsearch 中的查询分为两种主要类型:查询(Query) 和 过滤器(Filter)。查询会计算文档…

【深度学习入门_机器学习理论】决策树(Decision Tree)

本部分主要为机器学习理论入门_决策树算法,书籍参考 “ 统计学习方法(第二版)”。 学习目标: 熟悉决策树基础知识:树、熵、信息增益、基尼指数;熟悉决策树构建步骤;熟悉3种典型决策树算法&…

数据中台是什么?:架构演进、业务整合、方向演进

文章目录 1. 引言2. 数据中台的概念与沿革2.1 概念定义2.2 历史沿革 3. 数据中台的架构组成与关键技术要素解析3.1 架构组成3.2 关键技术要素 4. 数据中台与其他平台的对比详细解析 5. 综合案例:金融行业数据中台落地实践5.1 背景5.2 解决方案5.3 成果与价值 6. 方向…

Nginx 配置 SSL(HTTPS)详解

Nginx作为一款高性能的HTTP和反向代理服务器,自然支持SSL/TLS加密通信。本文将详细介绍如何在Nginx中配置SSL,实现HTTPS的访问。 随着互联网安全性的日益重要,HTTPS协议逐渐成为网站加密通信的标配。Nginx作为一款高性能的HTTP和反向代理服务…

【单层神经网络】基于MXNet库简化实现线性回归

写在前面 同最开始的两篇文章 完整程序及注释 导入使用的库# 基本 from mxnet import autograd, nd, gluon # 模型、网络 from mxnet.gluon import nn from mxnet import init # 学习 from mxnet.gluon import loss as gloss # 数据集 from mxnet.gluon…

服务器重启后报Predis_ServerException: Client sent AUTH, but no password is set

Redis问题产生后,处理办法 2025/02/08 11:21:43 [error] [exception.Predis_ServerException] Predis_ServerException: Client sent AUTH, but no password is set in /www/wwwroot/er/protected/extensions/redis/Predis.php:573 Stack trace: #0 /www/wwwroot/er/protected…

Vue3 ref属性

ref() 接受一个内部值&#xff0c;返回一个响应式的、可更改的 ref 对象&#xff0c;此对象只有一个指向其内部值的属性 .value。 function ref<T>(value: T): Ref<UnwrapRef<T>>interface Ref<T> {value: T } 详细信息 ref 对象是可更改的&#xff…