HBase原理和操作

news/2024/9/14 9:55:19/ 标签: hbase, linux, 数据库

目录

  • 一、HBase在Zookeeper中的存储
    • 元数据信息
    • 集群状态信息
  • 二、HBase的操作
    • Web Console
    • 命令行操作
  • 三、HBase中数据的保存过程

一、HBase在Zookeeper中的存储

元数据信息

HBase的元数据信息是HBase集群运行所必需的关键数据,它存储在Zookeeper的"/hbase"目录下。这些元数据信息包括:

  1. 表的结构:表的定义、列族(Column Family)信息等。
  2. Region的分布:Region是HBase中数据分布的基本单位,每个Region包含了一定范围的数据行。Zookeeper中存储了Region的分布信息,即每个Region当前由哪个RegionServer负责管理。
  3. Region Server的状态:RegionServer是HBase中负责存储和管理Region的节点。Zookeeper记录了RegionServer的健康状态、地址等信息,这对于HBase的负载均衡和故障恢复至关重要。

集群状态信息

除了元数据信息外,Zookeeper还负责维护HBase集群的状态信息,这些信息对于集群的稳定运行和高效管理非常关键。集群状态信息包括但不限于:

  1. Master节点的状态:Master节点是HBase集群中的管理节点,负责协调集群的整体运作。Zookeeper中存储了当前活跃的Master节点信息,以及备份Master节点的信息,以支持Master节点的高可用性。
  2. Region Server的健康状态:如前所述,Zookeeper实时监控Region Server的健康状态,并在必要时触发故障恢复流程。
  3. Region的迁移和状态变更:在HBase集群中,Region可能会因为负载均衡、故障恢复等原因发生迁移或状态变更(如从online状态变为offline状态)。这些变更信息也会被记录在Zookeeper中,以便集群中的其他组件能够感知并作出相应的响应。

二、HBase的操作

Web Console

端口:16010
使用时,请关闭防火墙

192.168.80.111:16010

命令行操作

此处仅提供基本的操作命令

  1. 创建表 create 'student','info','grade'
    查看所有表list
    查看表结构describe 'student' desc 'student'

  2. 插入数据put put 'student','s01','info:name','Tom'
    put 'student','s01','info:age','24'
    这两个代码最后操作的是同一个数据实体s01行

  3. 查询数据scan,get
    scan 相当于select * from student,允许设置其他的过滤器
    scan 'student'
    get 通过行键查询
    get 'student','s01'

  4. 清空表中的数据truncate 'student',本质是删除重建表

  5. 删除表disable 'student'
    drop 'student'

三、HBase中数据的保存过程

HBase数据保存的过程大致可以分为以下几个步骤:

写入WAL(Write Ahead Log):
当客户端向HBase写入数据时,首先会将数据写入WAL(预写日志)。WAL是一个关键的安全机制,确保在Region
Server宕机时,可以从WAL中恢复数据,防止数据丢失。WAL数据存储在HDFS上。 写入MemStore:
写入WAL后,数据接着被写入到Region
Server中的MemStore。MemStore是一个有序的内存缓冲区,用于缓存还未被持久化到磁盘的数据。每个Region的每个列族(Store)都有一个MemStore。
Flush到HFile:
当MemStore中的数据量达到设定的阈值时(如默认128MB),会触发Flush操作,将数据写入到HDFS上的HFile文件中。HFile是HBase中用于存储数据的文件格式,数据在HFile中按照RowKey排序。
Compact合并:
随着数据的不断写入,HFile文件的数量会逐渐增加。为了优化查询性能和存储效率,HBase会定期执行Compact合并操作,将多个HFile文件合并成一个或少数几个较大的HFile文件。

Region分裂是HBase自动进行负载均衡和数据分片的一种机制。
在这里插入图片描述


http://www.ppmy.cn/news/1516717.html

相关文章

ARM32开发——(七)GD32F4串口引脚_复用功能_查询

1. GD32F4串口引脚查询 TX RX CK CTS RTS USART0 PA9,PA15,PB6 PA10,PB3,PB7 PA8 PA11 PA12 USART1 PA2,PD5 PA3,PD6 PA4,PD7 PA0,PD3 PA1,PD4 USART2 PB10,PC10,PD8 PB11,PC5,PD9 PB12,PC12,PD10 PB13,PD11 PB14,PD12 UART3 PA0,PC10 PA1,PC11 …

kafka 入门

kafka 有分区和副本的概念,partition 3 表示有3个分区,replication 2 表示有2个副本 通过 --describe --topic test命令可以知道 test这个 主题的分区和副本情况,途中的replicas 表示 其他副本分区的情况,如第一条,t…

【运筹学】【数据结构】【经典算法】最小生成树问题及贪心算法设计

1 知识回顾 我们已经讲过最小生成树问题的基础知识,我们现在想要利用贪心算法解决该问题。我们再来回顾一下最小生成树问题和贪心算法的基础知识。 最小生成树问题就是从某个图中找出总权重最小的生成树。 贪心算法是一种算法设计范式,每一步都选…

深度学习学习经验——全连接神经网络(FCNN)

什么是全连接神经网络? 全连接神经网络(FCNN)是最基础的神经网络结构,它由多个神经元组成,这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。 想象你在参加一个盛大的晚会&#xf…

Vue中的this.$emit()方法详解【父子组件传值常用】

​在Vue中,this.$emit()方法用于触发自定义事件。它是Vue实例的一个方法,可以在组件内部使用。 使用this.$emit()方法,你可以向父组件发送自定义事件,并传递数据给父组件。父组件可以通过监听这个自定义事件来执行相应的逻辑。 …

问界M7 Pro这招太狠了,直击理想L6/L7要害

文 | AUTO芯球 作者 | 雷慢 李想的理想估计要失眠了,为什么啊? 前有L6悬架薄如铁片被曝光,被车主们骂了个狗血淋头, 现在又来个问界M7 Pro版, 24.98万的后驱智驾版就上华为ADS主视觉智驾了, 两个后驱&…

TMDOG的微服务之路_07——初入微服务,NestJS微服务快速入门

TMDOG的微服务之路_07——初入微服务,NestJS微服务快速入门 博客地址:TMDOG的博客 在前几篇博客中,我们探讨了如何在 NestJS 中的一些基础功能,并可以使用NestJS实现一个简单的单体架构后端应用。本篇博客,我们将进入…

基于改进YOLOv8的景区行人检测算法

贵向泉, 刘世清, 李立, 秦庆松, 李唐艳. 基于改进YOLOv8的景区行人检测算法[J]. 计算机工程, 2024, 50(7): 342-351. DOI: 10.19678/j.issn.10 原文链接如下:基于改进YOLOv8的景区行人检测算法https://www.ecice06.com/CN/rich_html/10.19678/j.issn.1000-3428.006…

解决Element-plus中Carousel(走马灯)图片无法正常加载的bug

前言&#xff1a; 最近帮助朋友解决了一个使用Element-plus中Carousel&#xff08;走马灯&#xff09;图片无法正常加载的bug&#xff0c;经过笔者的不断努力终于实现了&#xff0c;现在跟大家分享一下&#xff1a; 朋友原来的代码是这样的&#xff1a; <template><…

【计算机网络】电路交换、报文交换、分组交换

电路交换&#xff08;Circuit Switching&#xff09;&#xff1a;通过物理线路的连接&#xff0c;动态地分配传输线路资源 ​​​​

依靠 VPN 生存——探索 VPN 后利用技术

执行摘要 在这篇博文中,Akamai 研究人员强调了被忽视的 VPN 后利用威胁;也就是说,我们讨论了威胁行为者在入侵 VPN 服务器后可以用来进一步升级入侵的技术。 我们的发现包括影响 Ivanti Connect Secure 和 FortiGate VPN 的几个漏洞。 除了漏洞之外,我们还详细介绍了一组…

SpringBoot集成kafka-获取生产者发送的消息(阻塞式和非阻塞式获取)

说明 CompletableFuture对象需要的SpringBoot版本为3.X.X以上&#xff0c;需要的kafka依赖版本为3.X.X以上&#xff0c;需要的jdk版本17以上。 1、阻塞式&#xff08;等待式&#xff09;获取生产者发送的消息 生产者&#xff1a; package com.power.producer;import org.ap…

Linux的进程详解(进程创建函数fork和vfork的区别,资源回收函数wait,进程的状态(孤儿进程,僵尸进程),加载进程函数popen)

目录 什么是进程 Linux下操作进程的相关命令 进程的状态&#xff08;生老病死&#xff09; 创建进程系统api介绍&#xff1a; fork() 父进程和子进程的区别 vfork() 进程的状态补充&#xff1a; 孤儿进程 僵尸进程 回收进程资源api介绍&#xff1a; wait() waitpid…

VastBase——全局性能调优

目录 一、系统资源调优 1.内存和CPU 2.网络 3.I/O 二、查询最耗性能的SQL 三、分析作业是否被阻塞 背景&#xff1a;影响性能的因素 系统资源 数据库性能在很大程度上依赖于磁盘的I/O和内存使用情况。为了准确设置性能指标&#xff0c;用户需要了解Vastbase部署硬件的基本…

深信服研发面试经验分享

吉祥知识星球http://mp.weixin.qq.com/s?__bizMzkwNjY1Mzc0Nw&mid2247485367&idx1&sn837891059c360ad60db7e9ac980a3321&chksmc0e47eebf793f7fdb8fcd7eed8ce29160cf79ba303b59858ba3a6660c6dac536774afb2a6330#rd 《网安面试指南》http://mp.weixin.qq.com/s?…

在Spring Boot项目中集成Geth(Go Ethereum)

在Spring Boot项目中集成Geth&#xff08;Go Ethereum&#xff09;客户端&#xff0c;通常是为了与以太坊区块链进行交互。以下是一些基本的步骤和考虑因素&#xff0c;帮助你在Spring Boot应用程序中集成Geth。 安装Geth 首先&#xff0c;你需要在你的机器上安装Geth。你可以从…

k8s备份etcd3.5

一、思路 1、创建nfs存储类,用作存储备份数据<略> 2、制作用于备份的镜像文件 3、指定cronjob 二、制作镜像 ## dockerfile文件# cat Dockerfile FROM dhub.kubesre.xyz/centos:7 ADD etcdv359.tar / RUN mkdir /snapshot# docker build -t registry.k8s.io/etcd:3.…

ST表模板

P3865 【模板】ST 表 && RMQ 问题 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 思路:区间最大值&#xff0c;模板题。 int n,m; int arr[100005]; int f[100005][25]; (1<<20)1e6 void init(){ o(nlogn)for(int i1;i<…

爆改YOLOv8|利用SENetV2改进yolov8,暴力涨点

1&#xff0c;本文介绍 本文探讨了将 SENetV2 的稠密聚合层与 SE 模块结合&#xff0c;应用于 YOLOv8&#xff0c;以提升特征表达能力和目标检测性能。SENetV2 通过 Squeeze-and-Excitation&#xff08;SE&#xff09;模块优化通道和全局特征&#xff0c;从而提高分类准确率。…

UE5.4内容示例(5)UI_CommonUI - 学习笔记

https://www.unrealengine.com/marketplace/zh-CN/product/content-examples 《内容示例》是学习UE5的基础示例&#xff0c;可以用此熟悉一遍UE5的功能 UI_CommonUI可以看这个视频学习&#xff0c;此插件处于Beta状态&#xff0c;应用UI游戏方面&#xff0c;支持手柄等多输入端…