Hadoop的安装

news/2024/9/25 14:32:42/

文章目录

  • 一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。
  • 二. 环境变量
  • 三. 配置

hadoop340targz_1">一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。


随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

在这里插入图片描述

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.
更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。
修改:core-sit.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml
配置namenode和datanode的存放位置,可以自定义

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///C:/hadoop_data/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///C:/hadoop_data/hdfs/datanode</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

<configuration>   <property>       <name>mapreduce.framework.name</name>       <value>yarn</value>   </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

在这里插入图片描述


http://www.ppmy.cn/news/1530324.html

相关文章

2024双十一好物推荐 五款性价比高的好物分享

随着2024年的双十一日益临近&#xff0c;消费者们正翘首以待&#xff0c;期待着在这个年度盛事中淘到心仪的好物。今年的双十一&#xff0c;各大品牌和电商平台纷纷推出了众多优惠活动和新品&#xff0c;让消费者在享受购物乐趣的同时&#xff0c;也能以更实惠的价格入手高品质…

Unity 延迟时间 Threading.Tasks

在代码中&#xff0c;Task.Delay创建了一个异步任务&#xff0c;该任务将在指定的时间&#xff08;以毫秒为单位&#xff09;延迟。await关键字暂停了Main方法的执行&#xff0c;直到Task.Delay完成。这允许在等待期间&#xff0c;主程序是非阻塞的。 using System; using Syst…

真正厉害的项目经理都做到了这一点

在项目管理中&#xff0c;沟通是贯穿始终的关键要素&#xff0c;它能够打开团队协作的大门&#xff0c;推动项目稳步前行。 而那些真正厉害的项目经理&#xff0c;无一不是沟通的高手&#xff0c;他们通过清晰、有效且富有策略性的沟通&#xff0c;确保了项目的每一个环节都紧密…

指挥平台在应急场所中的主要表现有哪些

在应对自然灾害、公共安全事件等突发危机时&#xff0c;指挥平台作为应急管理体系的核心枢纽&#xff0c;其重要性不言而喻。它不仅承载着信息的快速汇聚、精准分析与高效调度功能&#xff0c;更在应急场所中有一定的关键表现。接下来就跟着北京嘉德立一起了解一下。 一、信息集…

EmguCV学习笔记 VB.Net 11.9 姿势识别 OpenPose

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请在显著位置标明本文出处以及作者网名&#xff0c;未经作者允许不得用于商业目的。 EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。 教程VB.net版本请访问…

蓝桥杯【物联网】零基础到国奖之路:十. OLED

蓝桥杯【物联网】零基础到国奖之路:十.OLED 第一节 硬件解读第二节 MDK配置 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/fa7660b81be9407aa19c603561553db0.png)第三节 代码 第一节 硬件解读 OLED硬件知识: 第二节 MDK配置 第三节 代码 include头文件。 编…

Unity DOTS系列之IJobChunk来迭代处理数据

最近DOTS发布了正式的版本, 我们来分享一下System中如何在System中使用IJobChunk来迭代处理World中的数据&#xff0c;方便大家上手学习掌握Unity DOTS开发。 再回顾一次基于ArcheType Chunk内存管理 我们先再次回顾以下基于ArcheType的Chunk内存管理。每一类Entity都是由一些…

el-table给列加单位,表头加样式,加斑马纹

<el-table ref"table" class"dataTable" :data"detailList" :header-cell-style"tableHeaderColor" :row-class-name"tableRowClassName" highlight-current-row><el-table-column label"序号" al…