(二十七)大数据实战——hbase高可用集群安装与部署

news/2025/1/12 23:08:49/

前言

本节内容我们主要介绍HBase高可用集群的安装部署。HBase是一个开源的分布式非关系型数据库管理系统(NoSQL),它运行在Apache Hadoop之上。它基于Google的Bigtable论文设计,并且具有高扩展性、高可靠性和高性能的特点。HBase通常用于需要存储和处理大规模结构简单数据的场景,例如日志分析、实时数据处理、用户行为追踪等。它在大数据领域中得到广泛应用,并且与Hadoop生态系统中的其他组件(如HDFS、MapReduce、Hive等)集成紧密。

列存储:HBase以列族的形式组织数据,可以非常高效地存储和查询大量结构相对简单的数据;分布式架构:HBase使用分布式的方式存储数据,可以水平扩展,支持处理海量数据;高可靠性:HBase采用多副本机制,将数据在集群中的多个节点上进行复制,以提供数据的冗余和容错能力;高性能:HBase支持快速的读写操作,并且对于随机访问和大规模批量操作都具有良好的性能;强一致性:HBase提供强一致性的读写操作语义,并实现了原子性、一致性、隔离性和持久性(ACID)的特性;稀疏存储:HBase适用于存储稀疏(大部分数据为空)的数据集,并且可以动态地添加或删除列;提供Java API:HBase提供了Java编程接口(API),方便开发人员进行数据的读写和管理。

正文

  • 集群服务规划:

- 关于hadoop集群和zookeeper集群的安装内容本节不在介绍,请查看作者往期博客内容。

服务集群规划
hadoop101hadoop102hadoop103
ZookeeperZookeeperZookeeper
hadoophadoophadoop
hbasehbasehbase
  • 上传hbase安装包到hadoop101服务的/opt/software目录

  • 将hbase安装包解压到/opt/module目录下

- 命令:

tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module

  • 配置hbase环境变量

- 在/etc/profile.d/my_env.sh自定义环境变量中增加hbase环境变量

 - 分发配置文件,使hadoop101、hadoop102、hadoop103的环境变量配置生效

- 使环境变量生效

  • 修改hbase配置文件

 - 在/opt/module/hbase-2.4.11/conf配置文件目录下修改hbase-env.sh配置文件

export HBASE_MANAGES_ZK=false

- 在/opt/module/hbase-2.4.11/conf配置文件目录下修改hbase-site.xml配置文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!--开启hbase分布式服务--><property><name>hbase.cluster.distributed</name><value>true</value></property><!--设置外部zookeeper地址--><property><name>hbase.zookeeper.quorum</name><value>hadoop101,hadoop102,hadoop103</value><description>The directory shared by RegionServers.</description></property><!--设置hdfs文件存储地址--><property><name>hbase.rootdir</name><value>hdfs://hadoop101:8020/hbase</value><description>The directory shared by RegionServers.</description></property>
</configuration>

  • 在/opt/module/hbase-2.4.11/conf目录下的regionservers中添加habse服务器

  • 解决hbase和hadoop的log4j冲突问题,删除hbase的log4j的jar包

 - 命令:

mv /opt/module/hbase-2.4.11/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase-2.4.11/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

  • 分发hbase安装包到hadoop102和hadoop103 

  • 启动zookeeper集群服务

  • 启动hadoop集群服务

  • 启动hbase集群服务

- 启动命令

# 启动主节点
bin/hbase-daemon.sh start master
# 启动regionserver
bin/hbase-daemon.sh start regionserver
# 集群启动
bin/start-hbase.sh
# 集群关闭
bin/stop-hbase.sh

- 查看服务状态

  •  访问hbase集群服务地址http://hadoop101:16010/

  • 配置hbase集群的高可用

 - 在HBase中HMaster负责监控 HRegionServer的生命周期,均衡 RegionServer 的负载, 如果 HMaster 挂掉了,那么整个 HBase 集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。

- 在/opt/module/hbase-2.4.11/conf目录下创建一个backup-masters文件,并填写备用服务器地址

- 分发配置文件

- 重启hbase服务

- 查看服务状态

- 查看web端

结语

至此,关于hbase高可用集群的安装与部署到这里就结束了,我们下期见。。。。。。


http://www.ppmy.cn/news/1107806.html

相关文章

基于开源模型搭建实时人脸识别系统(五):人脸跟踪

继续填坑&#xff0c;之前已经讲了人脸检测&#xff0c;人脸识别实战之基于开源模型搭建实时人脸识别系统&#xff08;二&#xff09;&#xff1a;人脸检测概览与模型选型_开源人脸识别模型_CodingInCV的博客-CSDN博客&#xff0c;人脸检测是定位出画面中人脸的位置&#xff0c…

2022年全国研究生数学建模竞赛华为杯C题汽车制造涂装-总装缓存调序区调度优化问题求解全过程文档及程序

2022年全国研究生数学建模竞赛华为杯 C题 汽车制造涂装-总装缓存调序区调度优化问题 原题再现&#xff1a; 背景介绍   汽车制造厂主要由焊装车间、涂装车间、总装车间构成&#xff0c;每个车间有不同的生产偏好&#xff0c;如&#xff1a;焊装车间由于车身夹具的限制偏向最…

国内外大语言模型调研(更新到2023.09.12)

目录 国外 OpenAI-ChatGPT Anthropic-Claude Google-Bard 国内 百度-文心一言 清华大学&智谱AI-ChatGLM 百川智能-百川大模型 科大讯飞-星火 阿里-通义千问 360-360智脑 腾讯-混元大模型 华为-盘古大模型 字节跳动-云雀大模型 好未来-MathGPT 商汤科技-商量…

如何对安卓设备执行免Root设置?免Root后如何远程控制?

使用AirDroid个人版的远程控制功能时&#xff0c;对被控的安卓设备执行免Root设置是比较常用的一种方式&#xff08;安卓7.0及以上系统的设备可以选择通过辅助权限&#xff08;无障碍&#xff09;控制安卓设备&#xff09; 如何执行免Root设置&#xff1f; 前提条件 1&#…

房地产小程序 | 小程序赋能,房地产业务数字化升级

随着科技的不断发展&#xff0c;房地产行业正逐渐向数字化转型。在这个过程中&#xff0c;房地产小程序成为了一种重要的工具&#xff0c;可以帮助房地产企业提供更好的购房体验、增加销售额&#xff0c;并实现管理的便捷化。 优点 便捷购房体验&#xff1a;房地产小程序为用户…

神经网络:基本概念、模型与技术

神经网络&#xff1a;基本概念、模型与技术 引言 在近年来&#xff0c;人工智能领域取得了显著的进步&#xff0c;其中最引人注目的成就之一就是神经网络。神经网络是一种模拟人脑工作机制的算法&#xff0c;以其出色的学习和识别能力&#xff0c;对各个领域的实际问题产生了…

动漫推荐《星际牛仔》

《星际牛仔》&#xff08;カウボーイビバップ&#xff0c;Cowboy Bebop&#xff0c;又译《赏金猎人》&#xff09;是由日升动画和万代影视制作的原创电视动画。它最初于东京电视台从1998年4月到6月首播&#xff0c;但因电检尺度问题并未完整播毕&#xff0c;后由WOWOW在同年10月…

上海亚商投顾:沪指放量反弹 医药、AI概念股集体走强

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一.市场情绪 三大指数早间震荡反弹&#xff0c;午后集体拉升涨超1%&#xff0c;深成指一度涨超1.5%&#xff0c;随后涨幅略…