前言
Hadoop技术栈是一套用于处理大规模数据集的开源软件框架。它包括Hadoop核心组件、HBase和Hive等。本文将详细介绍如何通过命令行启动和停止这些组件,以便更好地管理和维护大数据平台。
技术栈包括:
1. Zookeeper
Zookeeper是分布式协调服务,为Hadoop生态系统中的其他组件提供配置管理和服务发现功能。
启动:
cd /u01/zookeeper
./zkServer.sh start
停止:
./zkServer.sh stop
重启:
./zkServer.sh restart
查看状态:
./zkServer.sh status
2. Hadoop
Hadoop的核心组件包括HDFS(分布式文件系统)和YARN(资源管理器)。以下是常见的Hadoop组件启动和停止命令:
启动所有Hadoop服务:
cd /u01/hadoop/sbin
start-all.sh
停止所有Hadoop服务:
stop-all.sh
单独启动/停止DataNode节点:
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
单独启动/停止NameNode节点:
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
单独启动/停止JournalNode节点:
hadoop-daemon.sh start journalnode
hadoop-daemon.sh stop journalnode
单独启动/停止NodeManager节点:
yarn-daemon.sh start nodemanager
yarn-daemon.sh stop nodemanager
单独启动/停止ResourceManager节点:
yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager
3. HBase
HBase是一个分布式的、面向列的开源数据库,建立在Hadoop之上。
启动HBase集群:
cd /u01/hadoop/hbase/bin
start-hbase.sh
停止HBase集群:
stop-hbase.sh
单独启动/停止HBase Master节点:
hbase-daemon.sh start master
hbase-daemon.sh stop master
单独启动/停止HBase RegionServer节点:
hbase-daemon.sh start regionserver
hbase-daemon.sh stop regionserver
4. Hive
Hive是一个基于Hadoop的数据仓库工具,用于查询和管理分布式存储中的大型数据集。
启动Metastore服务:
cd /u01/hadoop/hive
nohup bin/hive --service metastore 2>&1 >> logs/metastore.log &
启动HiveServer2服务:
nohup bin/hive --service hiveserver2 2>&1 >> logs/hiveserver2.log &
停止Hive服务: 由于Hive服务通常是通过后台进程运行的,可以使用ps
命令找到相关进程并使用kill
命令终止它们。例如:
ps aux | grep hive
kill -9 <PID>