spark3.0.0单机模式安装

ops/2024/10/18 16:49:58/

注:此安装教程基于hadoop3集群版本

下载安装包

下载spark3.0.0版本,hadoop和spark版本要对应,否则会不兼容

用xftp上传Linux虚拟机,上传目录/bigdata(可修改)

解压

tar -zxvf /bigdata/spark-3.0.0-bin-hadoop3.2.tgz 

 添加软链接(可选)

ln -s /bigdata/spark-3.0.0-bin-hadoop3.2.tgz  /bigdata/spark

修改环境变量 

sudo vim /etc/profileexport SPARK_HOME=/bigdata/spark
export $PATH:$SPARK_HOME/bin 

别忘记source /etc/profile 

修改spark配置文件

cd /bigdata/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh

 添加以下内容,/bigdata/hadoop就是hadoop的路径,可根据自己的实际情况修改

export SPARK_DIST_CLASSPATH=$(/bigdata/hadoop/bin/hadoop classpath)

验证是否安装成功

run-example SparkPi 2>&1 | grep "Pi is" 

这是一个求Π的示例程序,输出如下

 打开spark shell终端

spark-shell

如下图


http://www.ppmy.cn/ops/20787.html

相关文章

独立搭建UI自动化测试框架分享

今天给大家分享一个seleniumtestngmavenant的UI自动化,可以用于功能测试,也可按复杂的业务流程编写测试用例,今天此篇文章不过多讲解如何实现CI/CD,只讲解自己能独立搭建UI框架,如果有其他好的框架也可以联系我&#x…

c++中的__declspec(dllexport) 和 __declspec(dllimport)

c中的__declspec(dllexport) 和 __declspec(dllimport) 1. __declspec(dllimport) __declspec(dllimport) 是Microsoft Visual C特有的修饰符,用于声明在动态链接库(DLL)中定义的函数和变量,以便在另一个模块中使用。它告诉编译…

LeetCode题目74:搜索二维矩阵

作者介绍:10年大厂数据\经营分析经验,现任大厂数据部门负责人。 会一些的技术:数据分析、算法、SQL、大数据相关、python 欢迎加入社区:码上找工作 作者专栏每日更新: LeetCode解锁1000题: 打怪升级之旅 python数据分析…

C#访问关键字this和base有什么作用

在C#中,关键字 this 和 base 分别用于引用当前实例和基类实例的成员。它们的作用如下: this 关键字: this 关键字用于引用当前实例的成员,包括字段、方法和属性。 当类的成员与局部变量同名时,可以使用 this 关键字来…

64位整数高低位的数据获取与赋值操作探讨

参考本篇->LOWORD和HIWORD函数_hidword-CSDN博客 一,如何获取一个64位整数的高32位和低32位 原理其实很简单: 解释一些概念 ①十六进制和二进制直接挂钩 一个十六位的十六进制数【0XAABBCCDD12345678】转为二进制的过程是把其中的每个数转为对应的二…

【Jenkins】持续集成与交付 (五):Jenkins用户权限管理

【Jenkins】持续集成与交付 (五):Jenkins用户权限管理 1、安装插件(Role-based Authorization Strategy)2、开启权限全局安全配置3、创建角色4、创建用户5、给用户分配角色6、测试权限💖The Begin💖点点关注,收藏不迷路💖 1、安装插件(Role-based Authorization Stra…

为什么要学音视频?

一直都在说“科技改变生活”,现实告诉我们这是真的。 随着通信技术和 5G 技术的不断发展和普及,不仅拉近了人与人之间的距离,还拉近了人与物,物与物之间的距离,万物互联也变得触手可及。 基于此背景下,音…

【JavaEE网络】深入理解Socket套接字及其在网络编程中的应用

目录 Socket套接字UDP VS TCP有连接 VS 无连接可靠传输 VS 不可靠传输面向字节流 VS 面向数据报 全双工 VS 半双工 UDP数据报套接字编程DatagramSocket APIDatagramPacket APIInetSocketAddress APIUDP回显客户端服务器服务器和客户端的工作流程UDP翻译客户端服务器 Socket套接…