yarn 任务 beyond the ‘PHYSICAL‘ memory limit 报错处理

server/2024/11/30 1:57:56/

报错:
XXX is running 64299008B beyond the ‘PHYSICAL’ memory limit. Current usage: 2.1 GB of 2 GB physical memory used; 4.3 GB of 4.2 GB virtual memory used. Killing container.

set yarn.scheduler.minimum-allocation-mb;
±-------------------------------------------+
| set |
±-------------------------------------------+
| yarn.scheduler.minimum-allocation-mb=1024 |
±-------------------------------------------+
1 row selected (0.088 seconds)
set yarn.scheduler.maximum-allocation-mb;
±--------------------------------------------+
| set |
±--------------------------------------------+
| yarn.scheduler.maximum-allocation-mb=65536 |
±--------------------------------------------+
1 row selected (0.007 seconds)
set mapreduce.map.memory.mb;
±------------------------------+
| set |
±------------------------------+
| mapreduce.map.memory.mb=2048 |
±------------------------------+
1 row selected (0.006 seconds)
set mapreduce.reduce.memory.mb;
±---------------------------------+
| set |
±---------------------------------+
| mapreduce.reduce.memory.mb=2048 |
±---------------------------------+
1 row selected (0.013 seconds)
set yarn.nodemanager.vmem-pmem-ratio;
±--------------------------------------+
| set |
±--------------------------------------+
| yarn.nodemanager.vmem-pmem-ratio=2.1 |
意味着节点管理器可以使用的虚拟内存是其可用物理内存的2.1倍!
±--------------------------------------+
1 row selected (0.006 seconds)
set yarn.nodemanager.vmem-check-enabled;
±-------------------------------------------+
| set |
±-------------------------------------------+
| yarn.nodemanager.vmem-check-enabled=false |
±-------------------------------------------+
1 row selected (0.005 seconds)
set dfs.block.size;
±--------------------------+
| set |
±--------------------------+
| dfs.block.size=134217728 |
±--------------------------+
1 row selected (0.007 seconds)
set hive.exec.reducers.bytes.per.reducer;
±-----------------------------------------------+
| set |
±-----------------------------------------------+
| hive.exec.reducers.bytes.per.reducer=67108864 |
±-----------------------------------------------+
1 row selected (0.007 seconds)
set mapreduce.map.java.opts;
±---------------------------------------------------+
| set |
±---------------------------------------------------+
| mapreduce.map.java.opts=-Djava.net.preferIPv4Stack=true |
±---------------------------------------------------+
1 row selected (0.005 seconds)
set mapreduce.reduce.java.opts;
±---------------------------------------------------+
| set |
±---------------------------------------------------+
| mapreduce.reduce.java.opts=-Djava.net.preferIPv4Stack=true |
±---------------------------------------------------+
1 row selected (0.006 seconds)

1、增大内存
set mapreduce.map.memory.mb=8192;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx6144m;
set mapreduce.reduce.java.opts=-Xmx3072m;
2、减小单批次处理数据量


http://www.ppmy.cn/server/146046.html

相关文章

【基于深度学习的二轮电动车闯红灯检测系统】使用yolov10+改进Bytetrack+B/S端部署方法实现二轮电动车闯红灯检测

基于深度学习的二轮电动车闯红灯检测系统 一、前言二、二轮电动车数据集制备并搭建检测跟踪算法2.1 数据集制备2.2 检测算法选用及训练3.3 跟踪算法选取3.4 整体结构3.4.1 视频处理函数3.4.2 图像处理函数3.4.3 二轮车测距函数 3.5 针对视频流不兼容的处理 三、结语&源码数…

ATTCK红队评估实战靶场(二)

http://vulnstack.qiyuanxuetang.net/vuln/?page2 描述:红队实战系列,主要以真实企业环境为实例搭建一系列靶场,通过练习、视频教程、博客三位一体学习。本次红队环境主要Access Token利用、WMI利用、域漏洞利用SMB relay,EWS re…

面试——HashMap的并发问题

HashMap是线程不安全,在并发使用HashMap时会发生下列问题: 数据丢失 HashMap底层数据结构为数组,之后如果发送了哈希冲突,那么数据会以列表的形式保存在这个下标下,当数据长度大于8时,则会转为红黑树。 存…

微信小程序全局配置:TabBar与页面配置详解

微信小程序全局配置:TabBar与页面配置详解 引言 随着移动互联网的迅猛发展,微信小程序作为一种新兴的应用形式,因其便捷性和丰富的功能而受到广泛欢迎。在小程序的开发过程中,全局配置是非常重要的一环,尤其是tabBar和页面的配置。本文将深入探讨微信小程序的全局配置,…

霍夫变换:原理剖析与 OpenCV 应用实例

简介:本文围绕霍夫变换相关内容展开,先是讲解霍夫变换基本原理,包含从 xy 坐标系到 kb 坐标系及极坐标系的映射等。接着介绍了 cv2.HoughLines、cv2.HoughLinesP 概率霍夫变换、cv2.HoughCircles 霍夫圆变换的函数用法、参数含义、与常规霍夫…

Diff差异算法

目录 虚拟DOM Diff算法 Diff过程 示例 总结 在Vue.js中,虚拟DOM(Virtual DOM)是其核心特性之一,它极大地提高了DOM更新的效率。Vue.js使用虚拟DOM的diff算法来比较新旧虚拟DOM树,从而确定最小的DOM更新操作。这种…

2024年11月27日Github流行趋势

项目名称:screenshot-to-code 项目维护者:abi clean99 sweep-ai kachbit vagusX项目介绍:通过上传截图将其转换为整洁的代码(支持HTML/Tailwind/React/Vue)。项目star数:62,429项目fork数:7,614…

学成在线day06

上传视屏 断点续传 通常视频文件都比较大,所以对于媒资系统上传文件的需求要满足大文件的上传要求。http协议本身对上传文件大小没有限制,但是客户的网络环境质量、电脑硬件环境等参差不齐,如果一个大文件快上传完了网断了没有上传完成&…