设置Hadoop守护进程的JVM参数

news/2024/11/17 4:57:10/

一般情况下我们不去动守护进程的JVM,这里的守护进程说的是NameNode、DataNode等Hadoop服务自己本身的进程。但是有一些特殊情况下需要限制,比如工作中虽然集群中资源队列会有10%左右的预留空余,不过这是整个集群队列的限制,对于DataNode节点自身来说通常是限制在配置文件中的定额可跑任务总资源起到一个直观的限制,而通常DataNode节点自身的大部分资源都会分配给计算以及部分系统预留,这就导致我们在使用一些能力的时候偶发一个JVM可分配到的内存不足的问题,如下

#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 2684354560 bytes for committing reserved memory.
# Possible reasons:
#   The system is out of physical RAM or swap space
# Possible solutions:
#   Reduce memory load on the system
#   Increase physical memory or swap space
#   Check if swap backing store is full
#   Decrease Java heap size (-Xmx/-Xms)
#   Decrease number of Java threads
#   Decrease Java thread stack sizes (-Xss)
#   Set larger code cache with -XX:ReservedCodeCacheSize=
# This output file may be truncated or incomplete.
#
#  Out of Memory Error (os_linux.cpp:2749), pid=989550, tid=0x00007f3ff4b66700
#
# JRE version:  (8.0_202-b08) (build )
# Java VM: Java HotSpot(TM) 64-Bit Server VM (25.202-b08 mixed mode linux-amd64 )
# Core dump written. Default location: /home/work/core or core.989550

上面这个是博主工作中,某次操作hadoop ls时报了一个内存不足的OOM错误,这种时候,就需要对守护可用的内存做一些限制,限制的方法是修改hadoop-evn.sh配置文件中的HADOOP_OPTS环境变量

export HADOOP_OPTS="$HADOOP_OPTS -Xmx2g -Xms1g"

这里-Xmx2g表示设置最大堆内存为2GB,-Xms1g表示设置初始堆内存为1GB。

除了全局的HADOOP_OPTS环境变量外,Hadoop还允许你为不同的组件(如NameNode、DataNode等)单独设置JVM参数。这通常通过在hadoop-env.sh中设置特定的环境变量(如HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS等)来实现。


http://www.ppmy.cn/news/1531473.html

相关文章

Thinkphp5x远程命令执行 靶场攻略

环境配置 云服务器:47.113.231.0:8080 靶场:vulhub/thinkphp/5-rce docker-compose up -d #启动环境 漏洞复现 1.访问靶场:http://47.113.231.0:8080/ 2.远程命令执⾏ POC: ? sindex/think\app/invokefunction&func…

openEuler 修改网卡和常用网络配置

简介 1、网卡启用、禁用和查看状态 2、编辑网卡,配置静态Ip 3、删除之前网卡缓存的Ip 4、机器即连接内网,又连接外网 的网卡配置 5、openEuler 修改默认的镜像仓库(推荐)1、网卡启用、禁用和查看状态 # 查看网络状态 nmcli devi…

【Webpack】使用 Webpack 和 LocalStorage 实现静态资源的离线缓存

基本流程 1)使用 Webpack 进行资源打包: 安装 Webpack 及其相关插件。配置 Webpack,将静态资源打包到特定目录。 2)配置 Service Worker: 安装 workbox-webpack-plugin 插件。配置 Service Worker,通过…

【小小的脑袋,大大的疑问?】如何在Zookeeper中配置集群?

在Zookeeper中配置集群涉及多个步骤,以确保集群的稳定性和高效运行。以下是一个详细的配置流程: 一、环境准备 选择服务器: 选择合适数量的服务器,通常为奇数(如3台、5台等),以避免脑裂问题。确…

xpath在爬虫中的应用、xpath插件的安装及使用

安装 1、打开谷歌浏览器进入扩展程序安装页面(右上角会有"开发者模式按钮")默认是关闭的,当安装此插件时需要把开发者模式打开。 2、下载下来的xpath_helper是zip格式的,需要解压缩即可安装。 3、重启浏览器,再次点击扩展程序即…

Unity XR 环境检测

需求&#xff1a; 检测环境是XR还是手机 代码&#xff1a; using UnityEngine.XR;public class EnvmentUtility {/// <summary>/// 是否是XR环境/// </summary>/// <returns>如果是XR&#xff0c;返回true&#xff0c;否则false</returns>public sta…

Docker安装和配置MySQL 5.7的完整指南

本指南将详细介绍如何使用Docker安装MySQL 5.7,并进行全面的配置。我们将涵盖从基本安装到性能优化、安全设置、备份策略和监控等各个方面。 1. 准备工作 首先,确保您的系统已经安装了Docker。如果没有,请参考Docker官方文档进行安装。 2. 创建目录结构 创建以下目录结构来…

前端大模型入门:使用Transformers.js实现纯网页版RAG(一)

我将使用两篇文章的篇幅&#xff0c;教大家如何实现一个在网页中运行的RAG系统。本文将其前一半功能&#xff1a;深度搜索。 通过这篇文章&#xff0c;你可以了解如何在网页中利用模型实现文本相似度计算、问答匹配功能&#xff0c;所有的推理都在浏览器端本地执行&#xff0c;…