龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)

embedded/2024/9/24 19:28:14/

继续接着上篇的环境安装。
1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/
2、解压缩

tar zxvf spark-3.5.2-bin-hadoop3.tgz

3、移动到适当位置

mv spark-3.5.2-bin-hadoop3 /app/spark-3

4、下载scala
https://www.scala-lang.org/download/all.html
这个版本的spark用的是scala-2.12.18
https://www.scala-lang.org/download/2.12.18.html
linux下
https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz

tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2

4、配置环境变量
nano /etc/profile
下面是完整的java、hadoop、scala、spark的配置环境

export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin

环境变量生效

source /etc/profile

验证:
scala -version
spark-shell

5、进到/app/spark-3/conf中,复制一个文件出来

cp spark-env.sh.template spark-env.sh
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

6、查看spark版本

spark-submit --version

7、启动spark

cd /app/spark-3
sbin/start-all.sh

8、jps 查看是否安装成功,比如我的是这样,Worker、Master启动完,记忆证明spark和scala安装启动成功了:

19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master

http://www.ppmy.cn/embedded/112523.html

相关文章

专业学习|系统动力学概观(方法特色、构成要素、建模步骤)

一、系统动力学概览 (一)系统动力学介绍 系统动力学是一门综合交叉学科,其基础理论涵盖了控制论、信息论和决策论等多个领域。它利用计算机仿真技术对复杂系统进行定量研究,尤其是那些具有非线性、高阶次和多重反馈特征的系统。这…

【Linux】调试和Git及进度条实现

这里是阿川的博客,祝您变得更强 ✨ 个人主页:在线OJ的阿川 💖文章专栏:Linux入门到进阶 🌏代码仓库: 写在开头 现在您看到的是我的结论或想法,但在这背后凝结了大量的思考、经验和讨论 目录 1.…

代码随想录Day 45|leetcode题目:115.不同的子序列、583. 两个字符串的删除操作、72. 编辑距离

提示:DDU,供自己复习使用。欢迎大家前来讨论~ 文章目录 题目题目一: 115.不同的子序列解题思路:1. 确定dp数组(dp table)以及下标的含义2. 确定递推公式3. dp数组如何初始化4. 确定遍历顺序5. 举例推导dp数…

为什么H.266未能普及?EasyCVR视频编码技术如何填补市场空白

H.266,也被称为Versatile Video Coding(VVC),是近年来由MPEG(Moving Picture Experts Group)和ITU(International Telecommunication Union)联合开发并发布的新一代国际视频编码标准…

华为CNA VRM搭建(使用vmware worfstartion搭建)

创建虚拟机: 自定义→高级 选择硬件兼容性:默认安装版本,如果未来想要将此虚拟机安装到其他电脑,其他电脑版本过低,此时可以向下兼容,这里我们默认版本 稍后安装操作系统: CNA采用Euler OS系统…

SOMEIP_ETS_111: SD_Empty_Entries_Array

测试目的: 验证DUT能够忽略声明了条目数组长度为零的SubscribeEventgroup消息。 描述 本测试用例旨在确保DUT在接收到一个Entries数组长度为零的SubscribeEventgroup消息时,能够正确地忽略该消息,不对其进行解释或响应。 测试拓扑&#x…

[Web安全 网络安全]-XSS跨脚本攻击

文章目录: 一:前言 1.定义 2.漏洞出现的原因 3.鉴别可能存在XSS漏洞的地方 4.攻击原理 5.危害 6.防御 7.环境 7.1 靶场 7.2 自动扫描工具 7.3 手工测试工具 8.payload是什么 二:常用的标签语法 三:XSS的分类 反射…

安卓玩机工具-----ADB与 FASTBOOT模式 图形化 多功能玩机刷机工具

工具说明 这款工具是英文版。易于使用的工具提供了用于运行 ADB 和 Fastboot 命令的图形用户界面。ADB 功能包括旁加载、安装和卸载应用程序、测试设备以及重新启动到不同的模式。可以使用 fastboot 命令进行设备管理;其中包括检查 Antirollback 和 active slots 等变…