hadoop中的几个核心配置

news/2024/10/30 9:25:26/
说在前面
  • 工作环境:VMware® Workstation 12 Pro 12.5.6 build-5528349
  • linux版本:CentOS-7-x86_64-Minimal-1611.iso
  • JDK版本:jdk-8u65-linux-x64.tar.gz
  • Hadoop版本:hadoop-2.7.6.tar.gz

hadoop中几个核心的配置如下

配置临时目录

如果没有任何配置,临时目录会保存在根目录下的 /tmp 文件夹下,每次节点进行重启后临时目录中的文件就会被删除,所以需要将临时目录配置在家目录下:

//配置core-site.xml文件
<configuration><property><name>fs.defaultFS</name><value>hdfs://s201/</value></property><!--- 配置新的本地目录 --><property><name>hadoop.tmp.dir</name><value>/home/centosmin0/hadoop</value></property>
</configuration>
节点的服役和退役

对于一些出错或者不能用的节点可以让其退役,对应的需要增加节点来服役

节点的服役
  • 在dfs.include文件中包含新节点名称,该文件在nn(名称节点)的本地目录
//添加一个白名单
$> touch /soft/hadoop/etc/dfs.include.txt  (s201下)s202
s203
s204
s205  //新服役节点
  • 在yarn-site.xml文件中添加属性.
<property><name>yarn.resourcemanager.nodes.include-path</name><value>/soft/hadoop/etc/dfs.include.txt</value>
</property>
  • 在nn(名称节点)上刷新节点
$>yarn rmadmin -refreshNodes
  • 在slaves文件中添加新节点ip(主机名)
s202
s203
s204
s205		//新服役的节点
  • 单独启动新的节点中的nodemananger(在 s205 下启动)
$>yarn-daemon.sh start nodemananger
节点的退役
  • 添加退役节点的ip到黑名单,不要更新白名单.
$> touch /soft/hadoop/etc/dfs.hosts.exclude.txts205
  • 配置yarn-site.xml
<property><name>yarn.resourcemanager.nodes.exclude-path</name><value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
  • 刷新rm节点
$>yarn rmadmin -refreshNodes
  • 查看webui,节点状态在decommisstion in progress

  • 当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成

  • 从白名单删除节点,并刷新节点

$>yarn rmadmin -refreshNodes
  • 从slaves文件中删除退役节点
黑白名单组成情况
include		//dfs.include
exclude		//dfs.hosts.includeinclude		exclude		Interpretation
No			No			不能连接
No			Yes			不能连接
Yes			No			可以连接
Yes			Yes			可以连接,将会退役状态。

http://www.ppmy.cn/news/416600.html

相关文章

配置高可用(名称节点高可用)

本文详细配置名称节点的高可用&#xff0c;什么是高可用可参考官方文档 说在前面 工作环境&#xff1a;VMware Workstation 12 Pro 12.5.6 build-5528349linux版本&#xff1a;CentOS-7-x86_64-Minimal-1611.isoJDK版本&#xff1a;jdk-8u65-linux-x64.tar.gzHadoop版本&#…

Echarts柱状图,曲线图

实现地址 var yMax 5; var dataShadow []; var data [4.2, 3.8, 4.8, 3.5, 2.9, 2.8, 3, 5]for (var i 0; i < data.length; i) {dataShadow.push(yMax); } option {grid: {bottom: "15%"},tooltip: {trigger: "axis",axisPointer: {type: "…

多表连接面试题:ERROR:Not unique table/alias

class_info idclass_name2s2045s2051s2077s203 match_info idhost_idguest_idmatch_timematch_result1212018-12-1045:622272018-12-1655:503 4 5 1、题目需求&#xff1a;已知某学校组织篮球比赛&#xff0c;现在有两张表class_info 和 match_info&#xff0c;需要通…

Fatal signal XX (SIGSEGV) 常见解决思路 backtrace

Fatal signal XX (SIGSEGV)常用解决思路 ****例如&#xff1a;**** 1、log信息&#xff1a; (摘自网络) 02-13 14:56:12.140 6180 11596 F libc : Fatal signal 6 (SIGABRT), code -6 in tid 11596 (pool_albumlabel) 02-13 14:56:12.149 4549 4579 D ForegroundUtils: …

Android中使用addr2line来分析native信息

系统&#xff1a;Ubuntu12.04 手机系统&#xff1a;Android5.0 在Android的开发过程中有会有很多的native bug必须要用addr2line来分析&#xff0c;并且这个工具也非常的好用。下面我们来看看具体的使用。 烧录到手机上的版本和你电脑上的编译出的版本要一致&#xff0c;这个…

替换pdf中的文字

在项目中经常会有一种需求&#xff0c;给定一个pdf模板&#xff0c;向里面空格中填充文字。若文字长度是固定的或长度变化不大&#xff0c;可以直接使用pdf模板来替换&#xff1b;若需要替换的新文字长度变动比较大&#xff0c;最好的办法是先做好一个word版的目标&#xff0c;…

【开源】壁纸软件,给自己电脑设计专属特效

喜欢图形学的朋友可以了解下&#xff0c;shader开发专属特效 技术点&#xff1a;wpf&#xff0c;dx&#xff0c;shader 软件环境&#xff1a;net core 3.1 平台&#xff1a;windows 用途&#xff1a;给电脑桌面设计一个自己想要的壁纸特效 特殊说明&#xff1a;部分原生特效需…