详细教程-Linux上安装单机版的Hadoop

server/2024/11/25 19:16:41/

1、上传Hadoop安装包至linux并解压

tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz

安装包:
链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg 
提取码:0pfj

2、配置免密码登录

生成秘钥:
ssh-keygen -t rsa -P ''

将秘钥写入认证文件:
cd ~/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys
修改认证文件权限:
chmod 600 ~/.ssh/authorized_keys

3、配置环境变量

Hadoop 加入环境变量 /etc/profile
vi /etc/profile

4、修改Hadoop配置文件

1 ) 修改hadoop-env.sh 文件
vi /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh
修改 JAVA_HOME :(这里要改成你自己linux中的jdk路径)
export JAVA_HOME=/usr/local/jdk1.8.0_181
2 )修改 core-site.xml 文件
<configuration><property><name>fs.defaultFS</name><value>hdfs://lcc:9090</value></property>
</configuration>
3)  修改 hdfs-site.xml 文件
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.6.0-cdh5.15.2/tmp</value></property>
</configuration>

4)  修改mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
5 )修改 slaves 文件
vi slaves
改成上面的 lcc(这里就是你的一个主机名,注意要在hosts文件中配置好 ip地址 主机名)
这里配置的是单节点, 指向本机主机名称。
6)修改yarn-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5、启动Hadoop服务

进入到sbin目录

cd /usr/local/hadoop-2.6.0-cdh5.15.2/sbin/

执行启动脚本

./start-all.sh

上传一个文件, 用于测试:

hdfs dfs -put /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh /

如果遇到如下报错:

请执行以下命令解决

再次重新执行hdfs上传即可

6、访问验证

至此Hadoop单机版安装完毕


http://www.ppmy.cn/server/144874.html

相关文章

C0034.在Ubuntu中安装的Qt路径

Qt安装路径查询 在终端输入qmake -v如上中/usr/lib/x86_64-linux-gnu就是Qt的安装目录&#xff1b;

索贝融媒体 Sc-TaskMonitoring/rest/task/search SQL注入漏洞复现

0x01 产品简介 索贝融媒体产品是成都索贝数码科技股份有限公司(简称索贝)为各级电视台和媒体机构打造的一套集互联网和电视融合生产的解决方案。其代表产品为MCH2.0融合媒体生产业务系统,该系统带来了媒体领域一种全新的融合生产流程和工作机制,具有全方位的资源汇聚能力、…

Java开发经验——SpringRestTemplate常见错误

摘要 本文分析了在使用Spring框架的RestTemplate发送表单请求时遇到的常见错误。主要问题在于将表单参数错误地以JSON格式提交&#xff0c;导致服务器无法正确解析参数。文章提供了错误案例的分析&#xff0c;并提出了修正方法。 1. 表单参数类型是MultiValueMap RestControl…

Linux 进程概念与进程状态

目录 1. 冯诺依曼体系结构2. 操作系统&#xff08;Operator System&#xff09;2.1 概念2.2 设计OS的目的2.3 系统调用和库函数概念 3. 进程概念3.1 描述进程 - PCB3.2 task_struct3.3 查看进程3.4 通过系统调用获取进程标识符PID&#xff0c; PPID3.5 通过系统调用创建fork 4.…

NVR管理平台EasyNVR多个NVR同时管理:全方位安防监控视频融合云平台方案

EasyNVR是基于端-边-云一体化架构的安防监控视频融合云平台&#xff0c;具有简单轻量的部署方式与多样的功能&#xff0c;支持多种协议&#xff08;如GB28181、RTSP、Onvif、RTMP&#xff09;和设备类型&#xff08;IPC、NVR等&#xff09;&#xff0c;提供视频直播、录像、回放…

git分支合并某一次提交

1.A分支&#xff1a;使用git log --oneline查看需要合并的id 或者直接去Git仓库查看提交记录 2.B分支&#xff1a;git cherry-pick id 合并A分支的请求

Linux 磁盘分区、格式化和挂载

一、磁盘分区表分类 Linux中想使用磁盘的步骤和Windows一样 加硬盘->分区->格式化->挂载 #通过命令行方式对磁盘进行分区&#xff08;两种方式&#xff0c;第一种就是MBR&#xff0c;第二种就是GPT&#xff09; 如果想采用MBR&#xff08;Master Boot Record&#x…

Spring Boot整合Nacos启动时 Failed to rename context [nacos] as [xxx]

一.先说解决办法 方法1&#xff1a; 启动类中添加以下代码 System.setProperty("nacos.logging.default.config.enabled","false");方法2: Java虚拟机选项中添加 -Dnacos.logging.default.config.enabledfalse参考:https://blog.csdn.net/hello_world_qwp…