hadoop技术栈的基本启停命令

server/2024/12/21 19:02:26/

前言

Hadoop技术栈是一套用于处理大规模数据集的开源软件框架。它包括Hadoop核心组件、HBase和Hive等。本文将详细介绍如何通过命令行启动和停止这些组件,以便更好地管理和维护大数据平台。

技术栈包括:

1. Zookeeper

Zookeeper是分布式协调服务,为Hadoop生态系统中的其他组件提供配置管理和服务发现功能。

启动

cd /u01/zookeeper
./zkServer.sh start

停止

./zkServer.sh stop

重启

./zkServer.sh restart

查看状态

./zkServer.sh status
2. Hadoop

Hadoop的核心组件包括HDFS(分布式文件系统)和YARN(资源管理器)。以下是常见的Hadoop组件启动和停止命令:

启动所有Hadoop服务

cd /u01/hadoop/sbin
start-all.sh

停止所有Hadoop服务

stop-all.sh

单独启动/停止DataNode节点

hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode

单独启动/停止NameNode节点

hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode

单独启动/停止JournalNode节点

hadoop-daemon.sh start journalnode
hadoop-daemon.sh stop journalnode

单独启动/停止NodeManager节点

yarn-daemon.sh start nodemanager
yarn-daemon.sh stop nodemanager

单独启动/停止ResourceManager节点

yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager
3. HBase

HBase是一个分布式的、面向列的开源数据库,建立在Hadoop之上。

启动HBase集群

cd /u01/hadoop/hbase/bin
start-hbase.sh

停止HBase集群

stop-hbase.sh

单独启动/停止HBase Master节点

hbase-daemon.sh start master
hbase-daemon.sh stop master

单独启动/停止HBase RegionServer节点

hbase-daemon.sh start regionserver
hbase-daemon.sh stop regionserver
4. Hive

Hive是一个基于Hadoop的数据仓库工具,用于查询和管理分布式存储中的大型数据集。

启动Metastore服务

cd /u01/hadoop/hive
nohup bin/hive --service metastore 2>&1 >> logs/metastore.log &

启动HiveServer2服务

nohup bin/hive --service hiveserver2 2>&1 >> logs/hiveserver2.log &

停止Hive服务: 由于Hive服务通常是通过后台进程运行的,可以使用ps命令找到相关进程并使用kill命令终止它们。例如:

ps aux | grep hive
kill -9 <PID>

http://www.ppmy.cn/server/152015.html

相关文章

如何@Transactional在 Spring Boot 中使用注解

可以使用Transactional注释来管理 Spring Boot 中的事务。在这篇博文中&#xff0c;我们将探讨如何使用它Transactional来确保数据一致性并简化 Spring Boot 应用程序中的错误处理 1.基本用法 要使用Transactional&#xff0c;通常将其放在需要事务行为的服务类的方法上。 i…

【大模型】LLaMA-2:Open Foundation and Fine-Tuned Chat Models, July. 2023.

论文&#xff1a;LLaMA-2&#xff1a;Open Foundation and Fine-Tuned Chat Models, July. 2023. 链接&#xff1a;https://arxiv.org/abs/2307.09288 Introduction 创新点 7B - 70B 预训练 微调 开源Llama 2 和Llama 2-Chat&#xff0c;针对对话用例进行了优化Motivation A…

【uniapp】实战一人员交接班

前言 最近公司在搞一个功能,实现现场交接班的人知道需要作业前,需要提前检查、准备的工作,然后这个活安排到了我这,临时抱佛脚,赶制了一个粗略的成品。 项目成果展示 首页: 项目结构解析 项目结构介绍: 1、pages/:存放应用的页面文件,包含页面的 Vue 文件、JS 文…

Linux系统加固

Linux系统安全加固 文章目录 Linux系统安全加固密码策略文件、目录安全未授权suid、未授权sgid排查与加固禁止root登录ftp、禁止匿名访问ftp计划任务排查与加固、开机自启排查与加固限定root用户远程ssh登录日志加固 无用账号、用户组和空口令账户排查与加固 禁用或删除无用账号…

JAVA集合-LIST 及源码解析

目录 常见的 List 操作 1. 创建 List 2.访问元素 3. 修改元素 4. 删除元素 5. 遍历 List 6. 获取 List 的大小 7. 检查 List 是否包含某个元素 ArrayList vs LinkedList ArrayList 源码详解 一、属性解析 二、构造方法解析 三、核心方法解析 add(E e)&#xff1a…

小程序中使用 Vue2 + Vuex 实现数据存储与获取

在小程序开发中&#xff0c;数据的存储与获取是一个非常重要的环节。本文将介绍如何在小程序中使用 Vue2 和 Vuex 实现数据的存储与获取。我们将通过一个具体的例子来展示如何在 Vuex 中管理用户信息和机构信息&#xff0c;并在组件中使用这些数据。 项目结构 首先&#xff0…

鸿蒙学习笔记:用户登录界面

文章目录 1. 提出任务2. 完成任务2.1 创建鸿蒙项目2.2 准备图片资源2.3 编写首页代码2.4 启动应用 3. 实战小结 1. 提出任务 本次任务聚焦于运用 ArkUI 打造用户登录界面。需呈现特定元素&#xff1a;一张图片增添视觉感&#xff0c;两个分别用于账号与密码的文本输入框&#…

搭建一个简单的Web服务器(Apache2.4)

一、下载安装包 Apache服务器的官方下载地址&#xff1a;http://httpd.apache.org windows系统的安装软件下载地址&#xff1a;https://www.apachelounge.com/download/ 下载的是免安装的版本&#xff1a;httpd-2.4.62-240904-win64-VS17.zip 解压后将 Apache24 拷贝到 D 盘&…