Hadoop集群基础搭建

embedded/2024/10/17 23:07:28/

目录

一.虚拟机安装

1.配置虚拟机的ip

2.配置本机的ip

3.新建虚拟机

4.克隆三台虚拟机

二.虚拟机网络配置

1.修改ip配置

2.配置主机名和主机映射

3.配置SSH免密登陆

三.安装JDK

1.tar命令解压JDK安装包

2.配置JDK的环境变量

四.安装Hadoop

1.tar命令解压Hadoop安装包

2.配置Hadoop的环境变量

3.配置服务的用户权限

hadoop%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6-toc" style="margin-left:40px;">4.修改hadoop配置文件

hadoop-env.sh%C2%A0%E6%96%87%E4%BB%B6-toc" style="margin-left:80px;">修改 hadoop-env.sh 文件

修改 core-site.xml 文件

修改 hdfs-site.xml 文件

修改 mapred-site.xml 文件

修改 yarn-site.xml 文件

修改 workers 文件

5.将配置文件传输到子节点

hadoop%E4%BC%A0%E8%BE%93%E5%88%B0%E5%AD%90%E8%8A%82%E7%82%B9-toc" style="margin-left:80px;">将jdk和hadoop传输到子节点

将环境变量配置文件传输到子节点

6.格式化文件系统

五.启动服务

1.启动HDFS服务

2.启动YARN服务

3.启动JobHistoryServer历史日志服务器

HDFS 的基础命令教程:


一.虚拟机安装


1.配置虚拟机的ip

打开Vm,点击虚拟网络适配器


选择NAT模式,配置子网IP,配置子网掩码DHCP设置。


点击DHCP设置,配置IP设置。


 NAT设置


2.配置本机的ip


点击更改适配器


点击VMent8


点击属性


确认IP地址子网掩码网关虚拟机里设置的一样


3.新建虚拟机


打开Vm,点击新建虚拟机


点击下一步


点击下一步


选择虚拟机镜像,点击下一步。(这里我们用CentOS 7镜像

下载镜像:阿里云镜像:centos-7-isos-x86_64安装包下载_开源镜像站-阿里云


设置虚拟机名称,设置虚拟机安装目录

虚拟机安装目录,最好不要默认C盘,避免C盘空间不足,可以放D盘。


设置虚拟机处理器数量


设置虚拟机内存


点击下一步


点击下一步


点击下一步


点击下一步


点击下一步


点击下一步


点击完成


进入虚拟机选择中间的回车。

退出虚拟机快捷键Ctrl + Alt


选择中文,点击继续。


设置软件选择


选择基础设置服务器点击完成。


点击安装位置,确认位置后退出。

打开网络连接。


开始安装


设置root密码


完成配置


等加载完成后,点击重启


4.克隆三台虚拟机


点击从下一步


点击下一页


选择完整克隆


设置虚拟机名称,虚拟机安装路径,配置后点击完成


http://www.ppmy.cn/embedded/128291.html

相关文章

[含文档+PPT+源码等]精品基于springboot实现的原生Andriod临期食品交易系统

基于Spring Boot实现的原生Android临期食品交易系统的背景可以从技术背景、社会与经济背景以及系统开发的必要性三个方面进行详细阐述: 一、技术背景 Spring Boot框架的优势: 快速开发:Spring Boot通过自动配置和简化依赖管理,显…

001 Hadoop安装、Spring整合测试

Hadoop安装、整合测试 文章目录 Hadoop安装、整合测试1.简介1.优点2.组成 2.安装1.安装jdk(如已安装可跳过)2.安装hadoop1.安装2. 修改配置文件core-site.xml3. 修改配置文件hdfs-site.xml4.启动hadoop5.启动yarn6.执行jps查看7.相关端口及配置位置8.访问…

【JavaScript】LeetCode:66-70

文章目录 66 组合总和67 括号生成68 单词搜索69 分割回文串70 N皇后 66 组合总和 回溯sum:当前组合的数字和。递归终止条件:sum > target。收集结果条件:sum target,找到了满足条件的组合。注意:因为可以重复取数&…

WordPress添加meta标签做seo优化

一、使用function.php文件添加钩子函数添加 方法1、使用is_page()判断不同页面的page_id进行辨别添加不同页面keyword和description (1)通过页面前台源码查看对应页面的id (2)或者通过wordpress后台,点击页面列表&…

SpringBoot定时任务@Scheduled完整功能详解(提供Gitee源码)

目录 一、实现定时任务 1.1、fixedRate 1.2、fixedDelay 1.3、initialDelay 1.4、cron 二、cron表达式 三、读取配置文件 四、实现并行执行定时任务 五、Gitee源码 一、实现定时任务 首先在主应用类或者任何配置类上添加@EnableScheduling注解,以启用定时任务功能。…

使用Python爬虫API,轻松获取电商商品SKU信息

在电子商务的复杂世界中,SKU(Stock Keeping Unit,库存单位)信息是连接供应商、库存、销售和客户服务的桥梁。它不仅包含了商品的规格、价格、库存等关键数据,还直接影响到库存管理、价格策略和市场分析等多个方面。在这…

Linux shellcheck工具

安装工具 通过linux yum源下载,可能因为yum源的问题找不到软件包,或者下载的软件包版本太旧。 ShellCheck的源代码托管在GitHub上(推荐下载方式): GitHub - koalaman/shellcheck: ShellCheck, a static analysis tool for shell scripts 对下…

[网鼎杯 2018]Fakebook

点击进入页面,发现有login和join两个页面,我们尝试登录login未果,于是转去join页面,随便填写一些信息 点击jion,发现注册成功,随后便出现了所有我们注册了的页面: 随便点击一个,比如…