【大数据之Hadoop】二十七、生产调优-HDFS多目录

news/2024/12/5 11:41:54/

1 NameNode多目录配置

  NameNode本地目录可以配置多个,每个目录存放内容相同,增加可靠性。
在这里插入图片描述
在hdfs-site.xml中添加,每台服务器节点的磁盘不同,可以选择不分发。

<property><name>dfs.namenode.name.dir</name><value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

关闭集群,删除三台节点的data和logs文件,最后再格式化重启集群。

myhadoop.sh stop
rm -rf data/ logs/
bin/hdfs namenode -format
sbin/start-dfs.sh

结果name1和name2的内容一模一样。

2 DataNode多目录配置

  DataNode配置多个目录,每个目录存储的数据不一样(且数据不是副本),可以用于增加磁盘、硬盘,磁盘新增之后就会出现负载不均衡的问题。
在这里插入图片描述
在hdfs-site.xml中添加

<property><name>dfs.datanode.data.dir</name><value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

向一个集群上传文件,可以看到两个文件夹内容不一致。
在这里插入图片描述

3 集群数据均衡之磁盘间数据均衡

  当硬盘空间不足时增加一块硬盘后,新加的硬盘是没有数据的,通过执行磁盘数据均衡命令使得磁盘负载均衡。

1)生成均衡计划(我们只有一块磁盘,不会生成计划)
hdfs diskbalancer -plan hadoop103
(2)执行均衡计划
hdfs diskbalancer -execute hadoop103.plan.json
(3)查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop103
(4)取消均衡任务
hdfs diskbalancer -cancel hadoop103.plan.json

http://www.ppmy.cn/news/64408.html

相关文章

AssetBundle加载与卸载时的内存变化

AssetBundle.LoadFromFile加载一个80MB的assetbundle会分配1MB左右的pss内存 adb分析&#xff1a;private-otherUnityProfiler分析&#xff1a;有3块 1.Other/AssetBundle/LoadingCache 2.Other/SerializedFile/archive:/CAB-e42axxxxxxx 3.NotSaved/AssetBundle/xxxxxx.ab …

QT设置widget属性为FramelessWindowHint导致界面刷新的问题

一.问题描述 当使用继承自QWidget的QT对象时&#xff0c;如果设置了窗口风格&#xff08;FramelessWindowHint&#xff09;为无边框&#xff0c;则在使用 包括 窗口最大化、windows系统&#xff08;winD&#xff09;&#xff0c;图标来回点击显示等操作时&#xff0c;导致界面…

2023年,网络安全方面 5 大值得学习的编程语言

Python 到目前为止&#xff0c;Python 在网络安全领域一直处于领先地位。这是一种通用的服务器端脚本语言&#xff08;无需编译&#xff09;&#xff0c;已经被应用到成千上万的安全项目中。你会发现绝大多数安全工具和 PoCs 都是用 Python 编写的&#xff0c;这样做是有充分理…

【Hackthebox Stocker】打靶记录

Hackthebox Stocker nmap 扫描一把 得到tcp端口22 80 nmap -sC -sV 10.10.11.196 Starting Nmap 7.93 ( https://nmap.org ) at 2023-05-10 05:51 EDT Nmap scan report for 10.10.11.196 Host is up (0.25s latency). Not shown: 998 closed tcp ports (reset) PORT STAT…

从零开始学习Linux运维,成为IT领域翘楚(十)

文章目录 &#x1f525;Linux网络防火墙&#x1f525;Linux内核机制 &#x1f525;Linux网络防火墙 防火墙管理工具 firewalld概述 Centos 系统中集成了多款防火墙管理工具&#xff0c;其中 firewalld服务是默认的防火墙配置管理工具&#xff0c;它拥有基于 CLI&#xff08;…

选股公式1000问--76

76.问: 请把次公式改为条件选股公式&#xff08;条件是“低点”&#xff09;。 var1:LLV(LOW,21); var2:HHV(HIGH,21); 快一: EMA((CLOSE-var1)/(var2-var1)100,5),colorcyan; 快:EMA((CLOSE-var1)/(var2-var1)50,13); D: EMA(0.667REF(快一,1)0.333快一,2); var3:LLV(LOW,55);…

(8)Qt---数据库

目录 1. Qt数据库简介 2. 连接与关闭 3. 建表 4. 增删改 5. 查询 6.银行管理系统程序代码(包含增删改查) 1. Qt数据库简介 Qt只是作为媒介去操作数据库&#xff0c;本身不具备数据库的功能&#xff0c;因此除了Qt以外&#xff0c;还需要在计算机中安装对应的数据库软件&#xf…

Java高阶数据结构 图的最短路径问题

图的最短路径问题&#xff01; 文章目录 Java高阶数据结构 & 图的最短路径问题1. Dijkstra算法【单源最短路径】1.1 Dijkstra算法证明1.2 Dijkstra算法代码实现1.3 堆优化的Dijkstra算法1.4 堆优化Dijkstra算法代码实现 2. Bellman-Ford算法【单源最短路径】2.1 BF算法证明…