Hadoop集群启动后,在web:50070端口只有两个datanode节点

news/2024/11/26 4:29:04/

spark集群部署规划: 

hadoop1

master

worker

datanode

namenode secondarynamenode(hadoop) resourcemanager nodemanager(yarn)

hadoop2

worker

datanode nodemanager

hadoop3

worker

datanode nodemanager

问题引出:​​​​​​Hadoop集群启动后,使用jps查看进程均没问题,但是在Web50070端口上只显示了两个datanode。

 

 进入50070端口,发现只有hadoop1和hadoop2没有hadoop3

 

 

解决方法:


1.关闭集群

stop-dfs.sh
stop-yarn.sh

stop-dfs.sh
stop-yarn.sh



2.将集群中每个datanode节点的VERSION删除
(VERSION里面记录着datanode id信息 路径/hadoop/tmp/dfs/data/current)

cd /usr/local/hadoop/tmp/dfs/data/current/
ls
rm -f VERSION

cd /usr/local/hadoop/tmp/dfs/data/current/
ls
rm -f VERSION



3.执行hdfs namenode -format (格式化语句)

hdfs namenode -format 



4.重启集群

先检查一下各个节点的etc/hosts文件是否都配置正确。


再次尝试:

登录master50070端口可以看到三个结点都存在,问题解决了!!!

 


http://www.ppmy.cn/news/43144.html

相关文章

【活动】高效学习方法分享

1 写在前面 当今社会,学习已成为每个人不可避免的事情。无论是在校生还是职场人士,我们都需要不断地更新自己的知识和技能。而如何高效地学习,则成为了许多人迫切需要解决的问题。本文将分享一些高效学习方法,帮助你更快、更好地…

Ren‘Py制作一个简单视觉小说的步骤(基础部分)

RenPy是一款用于制作视觉小说和交互式故事的自由软件,同时也支持制作其他类型的2D游戏。RenPy使用Python编写,并且包含了一个简单易学的脚本语言,以及一个强大的图形界面和调试工具。 RenPy提供了许多内置功能,如文字、图片、音频…

C ++匿名函数:揭开C++ Lambda表达式的神秘面纱

潜意识编程:揭秘C Lambda表达式的神秘面纱 Subconscious Programming: Unveiling the Mystery of C Lambda Expressions 引言:Lambda表达式的魅力 (The Charm of C Lambda Expressions)Lambda表达式简介与基本概念 (Introduction and Basic Concepts of …

docker too many open files解决方式

1:问题描述 今天在环境上执行docker ps命令失败,如下提示 [rootcontrol02 ~]# docker ps -a lgrep nginx Cannot connect to the Docker daemon at unix:///var/run/docker.sock, Is the docker daemon running?2:查看节点docker状态 看信…

C++类成员解析:编译器如何识别和处理声明与定义(C++ 类的作用域以及查找顺序)

在C中,作用域是指程序代码的一部分,其中某个名称的声明在该范围内保持有效。类作用域是类定义内部的代码区域,类的成员函数和数据成员在此作用域中声明和定义。了解类的作用域和查找顺序对于编写正确且可维护的C代码至关重要。 类的作用域 (…

网络io与select,poll,epoll

一个形象的类比 水龙头等水 水龙头就是内核进程 等水复制到内核区 学生就是进行io的进程或线程 阻塞io 学生在那里 等水来 非阻塞io 学生看数据没准备好,先回寝室,一会儿再过来检查下,看水准备好没 多路复用io 阿姨帮忙看着水龙头,等来水的时候通知学生 前面三个都是同步…

Kubernetes中的Calico网络

文章目录1 介绍2 环境部署3 IPIP模式3.1 测试环境3.2 ping包网络转发4 BGP模式4.1 测试环境4.2 ping网络转发5 两种模式对比1 介绍 Calico网络的大概思路,即不走Overlay网络,不引入另外的网络性能损耗,而是将转发全部用三层网络的路由转发来…

创略科技联合创始人兼总裁杨辰韵:AIGC、隐私计算赋能数字营销的本质是“以客户为中心”丨数据猿专访...

‍数据智能产业创新服务媒体——聚焦数智 改变商业MarTech概念现身已超十年,伴随着企业数字化转型的大背景,中国MarTech市场也迎来了高速发展。据《2022年中国MarTech市场洞察报告》数据显示,2017-2021年,中国 MarTech产业规模从…