Hadoop的安装

server/2024/9/25 10:46:17/

文章目录

  • 一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。
  • 二. 环境变量
  • 三. 配置

hadoop340targz_1">一. 到Hadoop官网下载安装文件hadoop-3.4.0.tar.gz。


随后点击下载即可

由于Hadoop不直接支持Windows系统,因此,需要修改一些配置才能运行

二. 环境变量

在这里插入图片描述

三. 配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351

上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.
更改后:

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。
修改:core-sit.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:hdfs-site.xml
配置namenode和datanode的存放位置,可以自定义

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///C:/hadoop_data/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///C:/hadoop_data/hdfs/datanode</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:mapred-site.xml

<configuration>   <property>       <name>mapreduce.framework.name</name>       <value>yarn</value>   </property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

修改:yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

PS:此文件中已有标签,可以直接覆盖掉

在这里插入图片描述


http://www.ppmy.cn/server/121784.html

相关文章

android13 系统默认设置静态IP

android11系统的时候&#xff0c;默认静态IP设置很简单&#xff0c;修改frameworks\base\core\res\res\values\config.xml中的config_ethernet_interfaces字符数组&#xff0c;在里面添加静态IP的参数就可以了。 <string-array translatable"false" name"c…

IDEA类和方法注释模板设置

一、概述 IDEA自带的注释模板不是太好用&#xff0c;我本人到网上搜集了很多资料系统的整理了一下制作了一份比较完整的模板来分享给大家&#xff0c;写这篇文章只是为了让大家省事。 适用于通过在项目工具窗口中调用新建 | Java 类 | 类创建的新 Java 类。 此内置模板…

C 字符串操作

strcpy char *strcpy(char *dest, const char *src) 把 src 所指向的字符串复制到 dest。 #include <stdio.h> #include <stdlib.h> #include <string.h>char* my_strcpy(char *dst, char *src) {if(dst NULL || src NULL){return NULL;}char *ret dst…

2024最新Linux发行版,Kali Linux迎来劲敌,零基础入门到精通,收藏这一篇就够了

概念简介 Parrot OS 是一款基于 Debian 的 Linux 发行版&#xff0c;专门为安全研究、渗透测试、开发以及隐私保护而设计。由 Frozenbox 团队开发的 Parrot OS&#xff0c;结合了现代安全工具、用户友好的环境以及出色的隐私保护特性&#xff0c;成为网络安全从业者、开发人员…

2024.9.24 Python与C++面试八股文

1.extern extern关键字用于在多个文件中引用同一个全局变量的声明 在一个头文件中&#xff0c;如果这个变量声明了&#xff0c;但是在cpp文件中没找到他的定义&#xff0c;那么编译就会报错&#xff0c;但是如果加了extern&#xff0c;编译器就不会给头文件报错&#xff0c;而…

中序遍历二叉树全过程图解

文章目录 中序遍历图解总结拓展&#xff1a;回归与回溯 中序遍历图解 首先看下中序遍历的代码&#xff0c;其接受一个根结点root作为参数&#xff0c;判断根节点是否为nil&#xff0c;不为nil则先递归遍历左子树。 func traversal(root *TreeNode,res *[]int) {if root nil …

【数据库】sqlite

文章目录 1. 基本概述2. 主要特点3. 应用场景4. 优缺点5. 基本使用示例6. 在编程语言中的使用连接到 SQLite 数据库&#xff08;如果文件不存在会自动创建&#xff09;创建表插入数据提交事务查询数据关闭连接 7. 总结 SQLite 是一个轻量级的关系型数据库管理系统&#xff08;R…

linux 下的静态库与动态库

目录 一、介绍 1、静态库 2、动态库 二、操作 1、静态库 2、动态库 3、使用库文件 &#xff08;1&#xff09;方法一 &#xff08;2&#xff09;方法二 &#xff08;3&#xff09;方法三 一、介绍 1、静态库 静态链接库实现链接操作的方式很简单&#xff0c;即程序文…