测试环境部署hadoop

news/2024/10/30 12:21:39/

两台服务器的主机名

hostname

ssh ecs-qar1-0001
ssh ecs-qar1-0002

配置jdk

vim /etc/profile

旧有的
export JAVA_HOME=/usr/java/openjdk-8u41

export JAVA_HOME=/bigdata/server/jdk
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

export MAVEN_HOME=/work/apache-maven-3.5.4
export PATH= M A V E N H O M E / b i n : MAVEN_HOME/bin: MAVENHOME/bin:PATH

rm -f /usr/bin/java
ln -s /bigdata/server/jdk/bin/java /usr/bin/java

查看系统

lsb_release -a
cat /etc/redhat-release

查看java版本

whereis java
which java (java执行路径)
echo $JAVA_HOME

如果配置没生效需要重启系统

reboot 重启系统

echo $PATH

# 配置hadoop
## 配置
ecs-qar1-0001
ecs-qar1-0002## 配置hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/bigdata/server/jdk
export HADOOP_HOME=/bigdata/server/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

配置core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://ecs-qar1-0002:8020</value><description>hdfs默认地址与端口</description></property><property><name>io.file.buffer.size</name><value>131072</value></property>
</configuration>

配置hdfs-site.xml

<configuration><property><name>dfs.namenode.name.dir</name><value>/data/nn</value><description>namenode上存储hdfs名字空间元数据</description></property><property><name>dfs.datanode.data.dir</name><value>/data/dn</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.datanode.data.dir.perm</name><value>755</value><!--dn所使用的本地文件夹的路径权限,默认755--></property><property><name>dfs.replication</name><value>2</value><!--数据需要备份的数量,不能大于集群的机器数量,默认为3--></property><property><name>dfs.namenode.hosts</name><value>ecs-qar1-0001,ecs-qar1-0002</value></property><property><name>dfs.blocksize</name><value>268435456</value></property><property><name>dfs.namenode.handler.count</name><value>100</value></property>
</configuration>
vim /etc/profile
export JAVA_HOME=/bigdata/server/jdk
export HADOOP_HOME=/bigdata/server/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile# 配置hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中各添加javahome
export JAVA_HOME=/bigdata/server/jdk

配置mapred-site.xml

<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value><description>Execution framework set to Hadoop YARN.</description>
</property>
<property><name>mapreduce.jobhistory.address</name><value>ecs-qar1-0002:10020</value>
</property>
<property><name>mapreduce.jobhistory.webapp.address</name><value>ecs-qar1-0002:19888</value>
</property>
<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>MAPREDUCE home设置为HADOOP_HOME</description>
</property>
<property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>MAPREDUCE HOME 设置为HADOOP_HOME</description>
</property>
<property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>mAPREDUCE HOME 设置为HADOOP_HOME</description>
</property>
</configuration>

配置yarn-site.xml

<configuration><property><name>yarn.resourcemanager.hostname</name><value>ecs-qar1-0002</value><description>ResourceManager host.</description></property><property><name>yarn.nodemanager.local-dirs</name><value>/data/nm-local</value><description>中间数据存储</description></property><property><name>yarn.nodemanager.log-dirs</name><value>/data/nm-log</value><description>日志存储</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>shuffle服务</description></property><property><name>yarn.log.server.url</name><value>http://ecs-qar1-0002:19888/jobhistory/logs</value><description>历史服务器</description></property><property><name>yarn.log.server.web-service.url</name><value>http://ecs-qar1-0002:8188/ws/v1/applicationhistory</value></property><property><name>yarn.log.aggregation.enable</name><value>true</value><description>开启日志聚合</description></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/tmp/logs</value><description>程序日志</description></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value><description>公平调度器</description></property>
</configuration>
scp -r hadoop-3.3.4 ecs-qar1-0002:`pwd`/
ln -s hadoop
chown -R hadoop:hadoop hadoop*
chown -R hadoop:hadoop /data# 设置hadoop用户的ssh免密登录
ssh-keygen -t rsa
ssh-copy-id ecs-qar1-0001
ssh-copy-id ecs-qar1-0002su - hadoop
hadoop namenode -formatstart-all.sh

安装docker

安装
https://docs.docker.com/engine/install/centos/#installation-methods
开机启动
systemctl enable docker.service
systemctl is-enabled docker.service

安装docker compose

curl -SL https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose


http://www.ppmy.cn/news/107921.html

相关文章

越秀地产K2流程平台年度报告出炉,来看看“别人家”的流程平台

前不久&#xff0c;越秀地产K2流程平台2022年度运营报告新鲜出炉&#xff0c;K2流程平台再次递交出色成绩单。 2022年&#xff0c;越秀地产在K2流程平台上审批完成的流程共计103万条&#xff0c;日均发起流程数达2800条&#xff0c;日均点击量5万。在大体量、高负荷情形下&…

(2022,MoCA)Few-shot 图像生成的原型记忆(Prototype Memory)和注意力机制

Prototype Memory and Attention Mechanisms for Few Shot Image Generation 公众号&#xff1a;EDPJ 目录 0. 摘要 1. 简介 2. 相关工作 3. 方法 3.1 原型记忆学习 3.2 记忆概念注意力&#xff08;MEMORY CONCEPT ATTENTION&#xff0c;MoCA&#xff09; 3.3 空间上…

clipboard复制粘题问题

clipboard复制粘贴问题 简单的clipboard用法引入clipboard使用方法 通过监听获取剪切板数据自定义获取clipboard剪切板值 记录下项目中使用clipboard复制粘题问题 简单的clipboard用法 引入clipboard npm install clipboard --save官网地址:传送门 使用方法 通过监听获取剪切…

加法器种类介绍

二进制加法器 二进制加法器接收加数A和B,以及进位Ci,输出和S,以及进位输出Co.二进制加法器的真值表如下&#xff1a; 逻辑表达式&#xff1a; S A ⊕ B ⊕ C i SA⊕B⊕C_i SA⊕B⊕Ci​ C o A B B C i A C i C_oABBC_iAC_i Co​ABBCi​ACi​ 从实现的角度&#xff0c;可以…

SpringBoot项目开发中常用的依赖详解

<swagger.version>2.9.2</swagger.version> 这是一个Maven项目中的Swagger版本号&#xff0c;用于引入Swagger依赖。Swagger是一个API文档工具&#xff0c;能够自动生成API文档以及提供API测试工具。在Spring Boot项目中&#xff0c;可以通过引入Swagger依赖来快速…

深度学习AI编译器-TVM简介

1.为什么需要深度学习编译器 深度学习编译器主要为解决不同框架下训练的模型 部署到指定的某些设备上时所遇到的一系列复杂的问题&#xff0c;即将各种深度学习训练框架的模型 部署到各种硬件所面临的问题&#xff1b; 首先深度学习领域&#xff0c;从训练框架看&#xff0c;当…

代码自动生成:低代码与人工智能。

代码自动生成&#xff1a;低代码与人工智能TOC 在当前gpt大行其道的情况下&#xff0c;很多人都对自动生成代码感兴趣。这里将讨论一些与代码自动生成有关的话题&#xff1a; 严格的、闭包的、无歧义的范式系统是代码自动生成的前提与保障&#xff0c;没有这样的范式系统&…

如何利用Citespace和vosviewer既快又好地写出高质量的论文及快速锁定热点和重点文献进行可视化分析

文献计量学是指用数学和统计学的方法&#xff0c;定量地分析一切知识载体的交叉科学。它是集数学、统计学、文献学为一体&#xff0c;注重量化的综合性知识体系。特别是&#xff0c;信息可视化技术手段和方法的运用&#xff0c;可直观的展示主题的研究发展历程、研究现状、研究…