ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】

news/2025/1/16 5:17:11/

系列文章目录

在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】

虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源,以及对应的安装vim和vim常见的操作

Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网

Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办

文章目录

前言

一、准备工作

二、配置三台主机之间的映射关系

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

3.2、在slave1节点也同样建立ssh连接

3.3、在slave2节点也同样建立ssh连接

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

3.8、将slave2节点上修改过的密钥传到master节点

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

四、实现三台虚拟机之间的时间同步

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

5.2、下载zookeeper,将其上传到Hadoop里面

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

5.12、分发zookeeper

5.13、修改myid【另外两台的id】

六、配置jdk环境

6.1、上传jdk

​6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

​6.5、进入系统目录下面的bashrc文件里面配置环境变量


前言

本文主要介绍在ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包。由于篇幅有限,集群配置Hadoop和spark将在下一小节介绍。

一、准备工作

首先在VMware软件里面安装好Ubuntu16.04,其次在里面安装好ssh和vim用于后面编写文件和上传文件,最后,需要克隆三台一样的虚拟机。

二、配置三台主机之间的映射关系

2.1、进入到etc下的network目录下修改interfaces文件

2.2、修改主机之间的映射关系

2.3、修改主机名称sudo vim hostname

slave2里面也是如此操作

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

3.2、在slave1节点也同样建立ssh连接

3.3、在slave2节点也同样建立ssh连接

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

3.8、将slave2节点上修改过的密钥传到master节点

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

在master节点上使用ssh看是否能直接链接到slave2节点

在slave1节点上使用ssh看是否能直接链接到master节点

在slave1节点上使用ssh看是否能直接链接到slave2节点

在slave2节点上使用ssh看是否能直接链接到slave1节点

在slave2节点上使用ssh看是否能直接链接到master节点

四、实现三台虚拟机之间的时间同步

下面仅以一台展示

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

使用ll  /查看修改的权限

5.2、下载zookeeper,将其上传到Hadoop里面

scp zookeeper-3.4.10.tar.gz hadoop@192.168.215.140:/home/hadoop/

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

dataLogDir=/opt/zookeeper/zkdatalog

server.1=master:2888:3888

server.2=salve1:2888:3888

server.3=salve2:2888:3888

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

mkdir  zkdata与mkdir zkdatalog

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

5.12、分发zookeeper

5.13、修改myid【另外两台的id】

六、配置jdk环境

6.1、上传jdk

scp jdk-8u321-linux-x64.tar.gz hadoop@192.168.215.140:/home/hadoop/

 6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

6.5、进入系统目录下面的bashrc文件里面配置环境变量

#配置Java环境变量

export JAVA_HOME=/opt/jdk

export JRE_HOME=/$JAVA_HOME/jre

export CLASSPATH=.:${JAVA_HOME}/lib:$JRE_HOME/lib

export PATH=$PATH:${JAVA_HOME}/bin

配置完成之后重启source .bashrc

 分发

 

 其他节点也要source一下

 

总结

大家在配置过程要书写正确的语句,要细心一点才不会出错奥~

以上就是今天的内容喽~

最后欢迎大家点赞👍,收藏⭐,转发🚀,
如有问题、建议,请您在评论区留言💬哦。


http://www.ppmy.cn/news/47319.html

相关文章

deepstream开发学习笔记: 追踪越界

main.cpp 文件解析 1. 创建元素前的准备 GStreamer是一个开源的流媒体框架,用于构建音频和视频流应用程序。它提供了一组库和工具,可以通过它们将多个组件(element)组合在一起以构建流媒体应用程序。以下是对几个常见组件的简要解…

校验规则引擎

目录 一 架构设计图 二 表设计及数据展示 三 顶层接口 四 压测结果 五 其他规则引擎比较 适用场景:校验场景以及使用该思想进行可视化配置化开发(可大幅提高开发效率,长期维护简单) 例如:履约系统下单中的校验&…

数字IC笔试面试常考问题及答案汇总(内含各岗位大厂题目)

经历了无数的笔试面试之后,不知道大家有没有发现数字IC的笔试面试还是有很多共通之处和规律可循的。所以一定要掌握笔试面试常考的问题。 数字IC笔试面试常考问题及答案汇总(文末可领全部哦~) 验证方向(部分题目) Q1…

ZLMediaKit在Windows上实现Rtmp流媒体服务器以及模拟rtmp推流和http-flv拉流播放

场景 开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放: 开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放_霸道流氓气质的博客-CSDN博客 上面讲…

scipy与MATLAB中四元数的不同之处

摘要 除了参数顺序不同scipy:(x,y,z,w),matlab(a,b,c,d)以外,scipy.spatial.transform.Rotation中的四元数是Shuster’s convention(JPL convention),与MATLAB中的四元数定义完全不同!!! scipy scipy.sp…

轻松掌握FFmpeg编程:从架构到实践

轻松掌握FFmpeg编程:从架构到实践 (Master FFmpeg Programming with Ease: From Architecture to Practice 引言 (Introduction)FFmpeg简介与应用场景 (Brief Introduction and Application Scenarios of FFmpeg)为什么选择FFmpeg进行音视频处理 (Why Choose FFmpeg…

java基础——迭代器,数据结构,List,Set ,TreeSet集合,Collections工具类

迭代器,数据结构,List,Set ,TreeSet集合,Collections工具类 第一章 Iterator迭代器 1.1 Iterator接口 在程序开发中,经常需要遍历集合中的所有元素。针对这种需求,JDK专门提供了一个接口java.util.Iterator。 想要遍历Collection集合&…

【unity实战】随机地下城生成2——绘制地图Tilemap的使用及一些技巧的使用(含源码)

绘制房间 修改素材配置 切割图片 绘制瓦片地图 先新建我们的调色盘,保存好位置 拖入我们刚才切片好的素材 在房间预设体创建我们的瓦片地图 绘制地图的小技巧 点选移动适合的瓦片移动到位置上绘画 框选复制已经绘制好的地图,快捷键i