大数据学习栈记——HBase安装

embedded/2025/3/29 19:08:18/

本文介绍大数据技术中流行的非关系型数据库HBase的安装，操作系统：Ubuntu24.04

安装Zookeeper

安装HBase前需要先安装Zookeeper，HBase使用Zookeeper作为其分布式协同服务，存储了HBase集群的元数据信息，并提供了分布式锁、保障系统高可用等功能。Zookeeper在Hbase中的主要作用如下：

（1）Master节点：

Master选举与主备切换。Master节点启动时选举与主备切换；

提供分布式一致锁。保证数据写入的事务性，表的删除，新建，更新需要维护全局锁；

（2）RegionServer节点

实现RegionServer节点的高可用管理。每个RegionServer启动时都会在ZK上注册，然后Master节点会去监控这个znode，若RegionServer节点宕机，Master节点会监听到；

RegionServer负载均衡管理。RegionServer节点Region的迁移、合并、分裂需要Master节点和RegionServer节点参与。ZooKeeper是Master和RegionServer之间的协调节点，做中间状态管理。

（3）维护管理HBase相关元数据信息

Zookeeper中meta-region-server节点维护hbase的meta表所在的节点信息，这个表存储着Hbase集群所有region的相关信息，包括region所在RegionServer节点，region的rowkey范围，以及region所在表名，列值等信息；

1. 下载Zookeeper

下载地址  https://zookeeper.apache.org/  ，找到下载链接

选择稳定版安装，随后用xftp上传

注意，你需要先搭建hadoop集群，并确认集群的IP地址

我原来的服务器配置是：

Hadoop101 192.168.179.140

Hadoop102 192.168.179.141

Hadoop103 192.168.179.142

2. 解压文件、修改文件夹名称、修改文件权限

在hadoop101中执行以下代码：

cd /home/youka

sudo tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local   #解压

cd /usr/local/

sudo mv apache-zookeeper-3.8.4-bin zookeeper  # 将文件夹名改为zookeeper（原来那个太长了，很难写）

sudo chown -R hadoop ./zookeeper    # 修改文件权限

备注：①tar是解压命令，具体使用方法参考

linux压缩解压缩文件tar命令_tar zxf-CSDN博客；

②mv命令时指move，可以移动或修改文件夹；③chown 是指change ower，用于修改文件或目录的所有者，参考

https://blog.csdn.net/weixin_41951954/article/details/128630329

3. 配置 zoo.cfg文件

在主节点hadoop101中执行以下代码：

cd /usr/local/zookeeper/conf

ls

sudo mv zoo_sample.cfg zoo.cfg     #修改zoo_sample.cfg 名字，我这边是直接改名使用，有的教程是复制一份

sudo vim zoo.cfg

进入zoo.cfg文件后修改和添加以下内容

dataDir=/usr/local/zookeeper/data

dataLogDir=/usr/local/zookeeper/logs

server.1=hadoop101:2888:3888

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

由于zookeeper安装目录默认没有data和logs文件夹，我们需要手工创建。

cd /usr/local/zookeeper

sudo mkdir data

sudo mkdir logs

给这两个文件夹添加权限

chmod 777 data

chmod 777 logs

4. 配置环境变量

执行下列代码

vim ~/.bashrc

在vim中添加内容

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

保存退出，然后让环境变量生效

source ~/.bashrc

5. 将ZooKeeper发布到其他服务器

Hadoop102和hadooop103节点还没有安装zookeeper，我们直接把hadoop101上面装好的zookeeper目录远程拷贝过去，在hadoop101上执行下列命令

执行

scp -r /usr/local/zookeeper root@hadoop102:/usr/local

scp -r /usr/local/zookeeper root@hadoop103:/usr/local

注意：我用的是root用户配置的hadoop集群，所以可以直接传，如果是非root用户上传会导致权限不够，解决办法是给所有集群的/usr/local增加权限，这里大家可以参考Bug | scp命令显示Permission denied! - Unirithe - 博客园

或者我们使用更好的命令：xsync

xsync /usr/local/zookeeper

6. 修改node1和node2节点的配置

zookeeper的启动需要在每个节点输入命令，所以需要在hadoop101、hadoop102、hadoop103上都配置zookeeper的环境变量。配置与hadoop101相同，因此我们又可以使用xsync大法

xsync ~/.bashrc

并在各个节点上让配置生效

source ~/.bashrc

（2）将配置文件中的myid改为不相同的值，在三台虚拟机上执行下列命令：

cd /usr/local/zookeeper/data

vim myid

在hadoop101里写1 hadoop102里写2 hadoop103里写3

保存后退出

7. ZooKeeper集群启动

启动集群需要在每台zookeeper服务器上都运行命令：

zkServer.sh start

集群启动成功，查看各个结点的状态

zkServer.sh status

关闭Zookeeper

zkServer.sh stop

注意：如果集群无法正常启动，可能有以下问题：myid配置不正确、防火墙未开放端口、8080端口占用。如果以上问题都无法解决，可以将每一个zoo.cfg文件进行修改，对应每一台结点上server.i的值修改为0.0.0.0:2888:3888。例如，hadoop101修改如下：

server.1=0.0.0.0:2888:3888

server.2=hadoop101:2888:3888

server.3=hadoop102:2888:3888

三台结点均需要修改。

我们发现每次都要在三台机器上启动Zookeeper很麻烦，我们可以写一个脚本，在一台机器上启动三台服务。

cd /usr/local/zookeeper/bin

vim zkp

添加如下内容：

#!/bin/bash
for host in hadoop101 hadoop102 hadoop103
docase $1 in"start"){echo "                                               "echo "--------------- 启 动 zookeeper ---------------"echo "------------ $host zookeeper -----------"ssh $host "source ~/.bashrc; /usr/local/zookeeper/bin/zkServer.sh start"};;"stop"){echo "                                               "echo "--------------- 关 闭 zookeeper ---------------"echo "------------ $host zookeeper -----------"ssh $host "source ~/.bashrc; /usr/local/zookeeper/bin/zkServer.sh stop"};;"status"){echo "                                               "echo "-------------- 查看zookeeper状态 --------------"echo "------------ $host zookeeper -----------"ssh $host "source ~/.bashrc; /usr/local/zookeeper/bin/zkServer.sh status"};;esac
done

随后给文件赋予权限

sudo chmod +x zkp

进入目录，启动

zkp start

zkp status

安装HBase

安装完Zookeeper后，我们正式进入HBase的安装

参考：

https://blog.csdn.net/linghaowoneng/article/details/130552766

https://blog.csdn.net/qq_51246603/article/details/129101644

https://blog.csdn.net/qq_63519278/article/details/134467429

1. 下载HBase

下载地址  https://hbase.apache.org/downloads.html ，找到下载链接

我这里下的是HBase2.5.8版本，你可以结合自己需求下载，但需要注意的是要和hadoop兼容，具体兼容规则见

https://hbase.apache.org/book.html#basic.prerequisites

将安装包用xftp上传

2. 解压文件、修改文件夹名称、修改文件权限

cd /home/youka

sudo tar -zxvf hbase-2.5.8-bin.tar.gz -C /usr/local   #解压

cd /usr/local/

sudo mv hbase-2.5.8 hbase  # 将文件夹名改为hbase（原来那个太长了，很难写）

sudo chown -R hadoop ./hbase    # 修改文件权限

3. 配置环境变量

执行下列代码

vim ~/.bashrc

在vim中添加内容

export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$HBASE_HOME/bin

保存退出，然后让环境变量生效

source ~/.bashrc

4. 配置hbase-env.sh文件

配置hbase-env.sh文件，位于Hbase安装目录/conf/，执行下列命令：

cd /usr/local/hbase/conf

vim hbase-env.sh

在vim中添加内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #目录要换成自己jdk所在目录

export HBASE_MANAGES_ZK=false

export HBASE_PID_DIR=/usr/local/hbase/pids

HBASE_MANAGES_ZK设置为true，则使用HBase自带的Zookeeper进行管理，只能实现单机模式，常用于测试环境，不能用于生产环境；设为false，启动独立的Zookeeper。由于我使用的是独立的Zookeeper，所以设置为false

5. 配置hbase-site.xml文件

配置hbase-site.xml文件，位于Hbase安装目录/conf/：

cd /usr/local/hbase/conf

vim hbase-site.xml

发现hbase-site.xml已经有一些基本的配置标记了：

在vim中将<configuration></configuration>里的内容增加（没有的标记）或者替换（已经有的标记）：

<property>
<!--启用分布式集群--><name>hbase.cluster.distributed</name><value>true</value></property><property>
<!-- HBase的根目录在HDFS上的路径--><name>hbase.rootdir</name><value>hdfs://hadoop101:8020/hbase</value></property>
<property><!-- ZooKeeper的主机名或IP地址列表，用逗号分隔--><name>hbase.zookeeper.quorum</name><value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
</property>

注意：上述配置hdfs的客户端路径需要根据自己的路径进行修改！！！！！（我的是8020端口，这个配置是在hdfs里自己配置的，不同人不一样，可能是9000端口）

6. 配置regionservers

配置hbase-site.xml文件，在regionservers文件中添加HBase的节点，类似hadoop中的hadoop102 hadoop103，一行一个

vim regionservers

在vim中去掉localhost，添加内容

hadoop101
hadoop102
hadoop103

7. 将HBase发布到其他服务器

可以用scp命令，这里使用简单好用的xsync

xsync /usr/local/hbase

8. 启动和停止HBase服务

在master节点机器进行 启动和停止 HBase命令为：

注意：启动和关闭Hadoop、Zookeeper和HBase的顺序是：

启动Hadoop → 启动Zookeeper → 启动HBase

关闭HBase → 关闭Zookeeper → 关闭Hadoop

启动：

start-all.sh  #启动hadoop，在hadoop101上执行

zkServer.sh start  #启动ZooKeeper，在hadoop101、hadoop102、hadoop103执行。

start-hbase.sh  #启动HBase，在hadoop101上执行

停止：

stop-hbase.sh   #停止HBase，在hadoop101上执行

zkServer.sh stop   #停止ZooKeeper，在hadoop101、hadoop102、hadoop103执行

stop-all.sh  #停止hadoop，在hadoop101上执行

但是注意到我们已经把Zookeeper启动写成了脚本，所以启动可以只在hadoop101输入：

start-all.sh

zkp start

start-hase.sh

HBase Web 管理网页，浏览器输入

http://hadoop101:16010 ，验证hadoop101状态和各个Region Servers状态

http://hadoop102:16030 ，验证hadoop102状态

http://hadoop103:16030 ，验证hadoop103状态

发现16030有问题，16010也只显示一个，其实是我们hbase-site没有配置正确

vim hbase-site.xml

在vim中将<configuration></configuration>里的内容增加：

<property><name>hbase.wal.provider</name><value>filesystem</value>
</property>

现在hbase-site.xml的内容变成这样了：

随后，将配置文件继续分发给集群

xsync hbase-site.xml

随后，重新启动集群。如果大家在停止hbase的时候出现一直stopping的话，参考stop-hbase.sh关闭不了，一直处于等待状态。_stophbasesh一直处于等待状态-CSDN博客进行操作。

hbase-daemon.sh stop master

stop-hbase.sh

start-hbase.sh

集群正常启动

子结点状态正常


http://www.ppmy.cn/embedded/176822.html

相关文章

我又又又又又又又又更新了~~~纯手工编写C++画图，有注释~~~~~~

我又又又又又又又又更新了~~~纯手工编写C++画图，有注释~~~~~~

本次更新内容&#xff1a; 更改托盘图标&#xff0c;在桌面新建快捷方式 提前申明&#xff1a;如果运行不了&#xff0c;请到主页查看RedpandaDevc下载&#xff0c;若还是不行就卸了重装。 版本号&#xff1a;1.13.8 480行 //版本号 :v1.13.8 //最终归属权为作者(饼干帅成渣…
阅读更多...
【开源宝藏】30天学会CSS - DAY8 第八课 跳动的爱心动画

【开源宝藏】30天学会CSS - DAY8 第八课 跳动的爱心动画

下面是一个逐步拆解教程&#xff0c;带你手把手复刻这个 跳动的爱心动画。你将学到如何通过 CSS 画出一个心形&#xff0c;并配合 keyframes 实现心跳效果。 &#x1f3af; 效果简介 页面背景为深灰色。页面中央显示一个粉红色爱心图案。爱心随着节奏跳动&#xff08;缩放 放…
阅读更多...
【计算机网络编码与调制】

【计算机网络编码与调制】

文章目录 一、前言二、编码与调制的基本概念1. 编码常见编码类型&#xff1a; 2. 调制常见调制类型&#xff1a; 三、常见编码技术1. NRZ编码&#xff08;Non-Return to Zero&#xff09;特点&#xff1a; 2. 曼彻斯特编码&#xff08;Manchester&#xff09;特点&#xff1a; …
阅读更多...
React中组件通讯与插槽

React中组件通讯与插槽

一、为DOM组件设置Props 1.用JSX语法对标签的类名进行设置属性名是className&#xff1b; 2.用JSX语法对标签的样式进行设置要使用键值对进行设置&#xff0c;带“-”时用小驼峰方法来书写&#xff1b; 3.当一个标签的属性过多时&#xff0c;可以通过JSX语法进行展开设置&am…
阅读更多...
【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】A题解题全流程（持续更新）

【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】A题解题全流程（持续更新）

【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】A题解题全流程-思路&#xff08;持续更新&#xff09; 写在前面&#xff1a; 1、A题、C题将会持续更新&#xff0c;陆续更新发布文章 2、赛题交流咨询Q群&#xff1a;1037590285 3、全家桶依旧包含&#xff1a; 代码、…
阅读更多...
第4章 IP网络扫描（网络安全评估）

第4章 IP网络扫描（网络安全评估）

你的网络有多安全&#xff1f;要回答这一问题&#xff0c;最好的方法是对其进行攻击。《网络安全评估》&#xff08;第二版&#xff09;为你提供了用于识别和评估网络安全的技巧和工具&#xff0c;通过学习本书&#xff0c;你可以掌握网络安全加固知识&#xff0c;从而避免网络…
阅读更多...
PostgreSQL结构

PostgreSQL结构

1.PostgreSQL结构 PostgreSQL 作为一个单机的关系型数据库&#xff0c;与单机Oracle的架构是比较相似的&#xff0c;与MySQL的InnoDB引擎也比较像。据我目前的了解&#xff0c;单机数据库的整体架构都差不太多&#xff0c;都是包含一个主的进程&#xff0c;一些辅助进程&#…
阅读更多...
【c++入门系列】：引用以及内联函数详解

【c++入门系列】：引用以及内联函数详解

&#x1f525; 本文专栏&#xff1a;c &#x1f338;作者主页&#xff1a;努力努力再努力wz &#x1f4aa; 今日博客励志语录&#xff1a; 最陡的上坡路&#xff0c;往往是通往山顶的捷径&#xff1b;最猛的风暴&#xff0c;才能扬起最远的帆。咬牙坚持的‘再试一次’&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023