Hadoop YARN中内存优化的设置---yarn.scheduler.maximum-allocation-mb

news/2024/11/17 0:25:50/

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”)后,NodeManager需按照要求为任务提供相应的资源,甚至保证这些资源应具有独占性,为任务运行提供基础的保证,这就是所谓的资源隔离。

 

基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源,注意,这里是“可用的”,因为一个节点上的内存会被若干个服务共享,比如一部分给YARN,一部分给HDFS,一部分给HBase等,YARN配置的只是自己可以使用的,配置参数如下:

在安装脚本从训练营的拖下来的配置文件中的yarn-site.xml中有如下配置:

#RM(yarn-site.xml) 内存资源配置——两个参数:它们表示单个容器可以申请的最小与最大内存。
<property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>250000</value>
</property>#NM(yarn-site.xml)前者表示单个节点可用的最大内存,RM中的两个值都不应该超过该值。
后者表示虚拟内存率,即占task所用内存的百分比,默认为2.1.
<property><name>yarn.nodemanager.resource.memory-mb</name><value>250000</value>
</property>
<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value>
</property>

这是说每个container最多申请的内存上限,会不会存在一个container申请过多资源的情况,只要没超过10Gyarn就不会管他,但是可能超过机器内存限制了,然后就被OOM killer杀死了


http://www.ppmy.cn/news/408420.html

相关文章

存储器题目解析(持续更新中....)

4.2.1 .主存中存储单元地址的分配&#xff1a; 存储字长&#xff1a;存储器中一个存储单元(存储地址)所存储的二进制代码的位数&#xff0c;即存储器中的MDR的位数。 字(word) : 若干个字节组成一一个”字” ( word)。一个”字”可以存放-条计算 机指令或一一个数据。 存储芯片…

S3C6410 wince6.0 DDR 从128MB 扩展为256MB

S3C6410 wince6.0 DDR 从128MB 扩展为256MB power 11:26 2009-7-22 1.更改NBL1.LSB 的option.inc;_ISR_STARTADDRESS EQU (DRAM_BaseAddress 0x03ffff00) ; 0x53ffff00 ; 64MB case;_ISR_STARTADDRESS EQU (DRAM_BaseAddress 0x07ffff00) ; 0x57ffff00 ; 128MB case_ISR_ST…

关于C语言开大数组溢出的问题

上周的CCF/CSP认证成绩出来了&#xff0c;第四题用粗暴的Dijkstra的思想强行遍历&#xff0c;本来估计能拿个60分&#xff0c;结果爆0分&#xff0c;耿耿于怀。 我考试用的是C。 #include<iostream> using namespace std; int main() {int dis[8000][8000];//代码 } 没记…

计算机组成原理——主存储器

目录 一、概述 1.主存的基本组成 2.主存与CPU之间的联系 3.主存中存储单元地址的分配 4.主存的技术指标 二、半导体存储芯片简介 1.半导体存储芯片的基本结构 2.半导体存储芯片的译码驱动方式&#xff1a; 线选法 重合法 三、随机存取存储器( RAM ) 四、只读存…

计算机组成原理题目透析(1)

某计算机的主存地址空间大小为256 MB&#xff0c;按字节编址。指令Cache和数据Cache分离&#xff0c;均有8个Cache行&#xff0c;每个Cache行大小为64 B&#xff0c;数据Cache采用直接映射方式。现有两个功能相同的程序A和B&#xff0c;其伪代码如下所示&#xff1a; 假定int类…

蓝桥杯第十二届填空题1,2详解

关于第十二届蓝桥杯填空题1.2解题思路 第一次发表博客和自己解题心得如果有错误请大家多多讲解帮助 *第一题 【问题描述】 小蓝准备用 256MB 的内存空间开一个数组&#xff0c;数组的每个元素都是 32 位 二进制整数&#xff0c;如果不考虑程序占用的空间和维护内存需要的辅助空…

蓝桥杯.Java.空间

本题为填空题&#xff0c;只需要算出结果后&#xff0c;在代码中使用输出语句将所填结果输出即可。 题目描述 小蓝准备用256MB的内存空间开一个数组&#xff0c;数组的每个元素都是 32 位 二进制整数 如果不考虑程序占用的空间和维护内存需要的辅助空间 请问 256MB 的空间可…

java数字转换MB,GB

1KB1024 1MB1024*1024 1GB1024*1024*1024 var bytes??; function bytesToMBSize(bytes) { if (bytes 0) return 0; var k 1024; var mb bytes/k/k; //转化为MB return mb.toFixed(2);//保留2位小数 } //给numberbox赋值 1. $(#spaceP…