spark入门 高可用部署HA(五)

news/2025/2/3 18:16:43/

一、standalone基于修改部署

https://blog.csdn.net/weixin_43205308/article/details/131070277?spm=1001.2014.3001.5501

二、安装ZOOKEEPER

zookeeper 安装下载与集群

三、修改conf下的spark-env.sh

vim conf/spark-env.sh

注释以下内容(根据自己环境修改)

#SPARK_MASTER_HOST=hadoop100
#SPARK_MASTER_PORT=7077

在这里插入图片描述
添加以下配置(根据自己环境修改)

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop100,hadoop101,hadoop102
-Dspark.deploy.zookeeper.dir=/spark

完整配置如图
在这里插入图片描述
记得分发配置

四、启动zookeeper

五,重启Spark

在hadoop100操作

sbin/start-all.sh

在hadoop101只启动master

sbin/start-master.sh

六、测试

关闭其中一个masetr进程,master节点将会切换
在这里插入图片描述
在这里插入图片描述


http://www.ppmy.cn/news/281339.html

相关文章

爆肝3月斩获字节Java后端Offer,分享下我的面试复盘心得

前言 我背景是NUS计算机硕士,武汉理工EE本科,春招收获腾讯、字节等后端实习Offer,目前仍在字节实习,今天给大家分享一下面试准备经验,我认为也同样适用于大家日常的学习。 在开始分享之前,我想给大家抛出…

NFTScan | 05.29~06.04 NFT 市场热点汇总

欢迎来到由 NFT 基础设施 NFTScan 出品的 NFT 生态热点事件每周汇总。 周期:2023.05.29 ~ 2023.06.04 NFT Hot News:NFT 热点资讯 01/ 数据:NFT 巨鲸 Pranksy 以 52.17 枚 ETH 抛售 25 枚 Doodles 5 月 29 日,据 NFT Whale Aler…

Lenovo windows 解决win键失灵

电脑突然win键就不能用了, 实在太影响使用了!!! 上网查了查,估计是把win键锁住了 要解锁的话,好像不同的电脑不太一样 我的电脑是lenovo 的 F9Fn就能开关win键 如果不可以的话,建议按住Fn键…

lenovo g450 wireless network on ubuntu18.04

G450的本子,安装完之后发现无线网卡不能被驱动,但能被之别到,因此激活一次broadcom sta wireless driver 命令:sudo apt-get update sudo apt-get --reinstall install bcmwl-kernel-source然后加载wl模块: sudo insmod wl 即使提示错误也要重启系统。 总结&…

笔记本出现此windows无线服务器,笔记本win7系统提示windows无法配置此无线连接怎么办...

如今很多使用笔记本win7系统都自带有无线网卡,所以很多用户都喜欢使用功能无线网络进行连接,但是有不少笔记本win7系统用户反映说创建无线网络连接的时候出现了故障,提示windows无法配置此无线连接,导致无法连接无线网络&#xff…

ubuntu 10.04 联想G450 安装无线网卡驱动

原文来自http://wenku.baidu.com/view/171ac6afd1f34693daef3efc 亲自实践,特此记载 ubuntu 10.04 联想G450 无线网灯不亮,所以要把它的驱动给装上才能让无线网卡工作。 硬件:BCM430xxx(根据XP上的鲁大师查看到的硬件类型&…

西门子828d车削编程技术_SINUMERIK 828D基本编程指令 .ppt

828D所支持的加工方式 SINUMERIK 828D数控系统: 适用于所有的车、铣、钻等常规加工 对模具加工的支持 对高速加工的支持 基本程序结构 程序名称:最多24个字符,前两个必须是字母,这样才能保证通过输入程序名称来调用子程序。例如&a…

电脑计算机找不到指定的程序,光驱双击显示找不到应用程序。怎么办?

【问题描述】: 我的电脑中没有光驱 【问题分析】: 光驱无法正常识别一般都是由于IDE设备识别出现故障,可以尝试拔掉光驱数据线重新识别,或者手动更改注册表、工具修复。 【简易步骤】: 1. 打开主机箱重新拔插光驱线 2.…