Hadoop学习3:问题解决

news/2024/12/2 20:41:48/

文章目录

    • 问题解决
      • 1. ERROR: but there is no HDFS_NAMENODE_USER defined
      • 2. JAVA_HOME is not set and could not be found.
      • 3. Hadoop-DFS页面访问不了
      • 4. namenode格式化失败,或者dfs页面打开失败
      • 5. ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

问题解决

1. ERROR: but there is no HDFS_NAMENODE_USER defined

设置启动HDFS_NAMENODE_USER的环境变量,即系统谁来启动hdfs应用

# 编辑系统环境变量文件
vim /etc/profile# ============================
# 文件末尾添加如下字符 profile
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=rootexport HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER
# ============================# 使环境变量生效
source /etc/profile

在这里插入图片描述

2. JAVA_HOME is not set and could not be found.

虽然使用echo $JAVA_HOME 能输出jdk目录,但启动hadoop时依然报这个错,可以选择在hadoop的环境变量配置文件中写死jdk目录,从而避免这个报错


修改hadoop-env.sh文件: vim /opt/module/hadoop-3.3.6/etc/hadoop/hadoop-env.sh

//使用你自己服务器JDK所在的目录
export JAVA_HOME=/www/server/jdk8/jdk1.8.0_202

在这里插入图片描述


修改yarn-env.sh文件: vim /opt/module/hadoop-3.3.6/etc/hadoop/yarn-env.sh

//使用你自己服务器JDK所在的目录
export JAVA_HOME=/www/server/jdk8/jdk1.8.0_202

在这里插入图片描述

3. Hadoop-DFS页面访问不了

新版本的NameNode默认端口9870,而不是老版本的50070,自行看文档中每个版本的hdfs-default.xml的【
dfs.namenode.http-address】属性默认值

在这里插入图片描述

在这里插入图片描述

4. namenode格式化失败,或者dfs页面打开失败

//1. 进程杀死:删掉下面命令的SecondaryNameNode、NameNode、DataNode进程
jps//2. 删除data目录、以及数据目录 == 进程必须先杀死,否则即使删了下面两个目录也会又重新出现
不同hadoop版本的默认data目录不行:自行查看每个版本的hdfs-site.xml的【dfs.datanode.data.dir】的设置
rm -rf /opt/module/hadoop-3.3.6/tmp/dfs/datarm -rf /opt/module/hadoop-3.3.6/logs//格式化NameNoe节点 == 如果是dfs集群,仅需格式化主节点机器就行,其他节点无需格式化,否则会有问题
hdfs namenode -format

5. ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

设置启动YARN的环境变量,即系统谁来启动yarn应用

# 编辑系统环境变量文件
vim /etc/profile# ============================
# 文件末尾添加如下字符 profile
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=rootexport HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER
# ============================# 使环境变量生效
source /etc/profile

在这里插入图片描述


http://www.ppmy.cn/news/1381020.html

相关文章

Scrapy 爬虫框架

网络爬虫框架scrapy (配置型爬虫) 什么是爬虫框架? 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合爬虫框架是个半成品,帮助用户实现专业网络爬虫 scrapy框架结构("52"结构) spider: 解析downloader返回的响…

使用 PlayFab 服务器托管的 5 个步骤

在本教程中,你将了解如何使用 Unity、镜像网络和 PlayFab 服务器托管来构建在线多人游戏。玩家不能再位于同一个本地网络上。他们将连接到托管在云中的专用服务器,这使得他们即使相距很远也可以一起玩。 架构概述 下图显示了我们将构建的架构。 玩家将使用他们的客户端并连…

Stable Diffusion WebUI 中英文双语插件(sd-webui-bilingual-localization)并解决了不生效的情况

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 大家好,我是水滴~~ 本文介绍一款中英文对照插件 sd-webui-bilingual-localization,该插件可以让你的 Stable Diffusion WebUI 界面同时显示中文和英文,让我们方便了使用的同时,也能让我们熟悉原始的英文界面。…

张量维度改变总结

文章目录 一、view() 或 reshape()二、unsqueeze()三、squeeze()四、transpose()五、torch.expand_dims 一、view() 或 reshape() view() 或 reshape(): 这两个函数可以用于改变张量的形状,但保持元素总数不变。它们可以接受一个新的形状作为参数,并返回…

手机备忘录可以设置密码吗 能锁屏加密的备忘录

在繁忙的生活中,手机备忘录成了我随身携带的“小秘书”。那些关于工作的灵感、生活的琐事,甚至深藏心底的小秘密,都被我一一记录在里面。然而,每次当手机离开我的视线,或者需要借给他人使用时,我总会心生担…

vue的导入

import { onMounted, onUpdated, onUnmounted } from ‘vue’; 单一导出(不使用 {}):通常用于导入vue组件 当一个模块只导出一个内容时,可以直接导入,无需使用 {}。多个导出(使用 {})&#xff…

【Linux】动态库与静态库的打包使用

💻文章目录 📄前言🌺静态库概念静态库使用原理 🌻动态库概念使用方法原理 📓总结 📄前言 想必各位喜欢打电脑游戏,总是能游戏文件夹看到一种熟悉的文件后缀名——.lib的存在吧,你是…

.NET应用UI框架DevExpress XAF v23.2新版亮点 - 支持.NET 8

DevExpress XAF是一款强大的现代应用程序框架,允许同时开发ASP.NET和WinForms。DevExpress XAF采用模块化设计,开发人员可以选择内建模块,也可以自行创建,从而以更快的速度和比开发人员当前更强有力的方式创建应用程序。 在DevEx…