HBase 读写流程

embedded/2024/9/24 12:25:03/

HBase 读写流程

1. 读流程

在这里插入图片描述

  1. Client先访问zookeeper,从zookeeper获取meta region的位置
  2. 从meta region中读取meta表中的数据,meta中存储了用户表的region信息;根据namespace、表名和rowkey在meta表中找到对应的region信息;
  3. 找到这个region对应的regionserver,查找对应的region;
  4. 先从MemStore找数据,如果没有,再到BlockCache里面读;
  5. BlockCache还没有,再到StoreFile上读(为了读取的效率);
  6. 如果是从StoreFile里面读取的数据,不是直接返回给客户端,而是先写入BlockCache,再返回给客户端。

2. 写流程

在这里插入图片描述

  1. Client向HregionServer发送写请求;
  2. HregionServer将数据写到HLog(write ahead log)。为了数据的持久化和恢复;
  3. HregionServer将数据写到内存(MemStore);
  4. 反馈Client写成功。

3. 数据Flush过程

  1. 当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据;
  2. 并将数据存储到HDFS中;
  3. 在HLog中做标记点。

4. 数据合并过程

  1. 当数据块达到4块,Hmaster触发合并操作,Region将数据块加载到本地,进行合并;
  2. 当合并的数据超过256M,进行拆分,将拆分后的Region分配给不同的HregionServer管理;
  3. 当HregionServer宕机后,将HregionServer上的hlog拆分,然后分配给不同的HregionServer加载,修改.META.;
  4. 注意:HLog会同步到HDFS。

5. 参考

  • https://blog.csdn.net/qq_34341930/article/details/105098516

http://www.ppmy.cn/embedded/37792.html

相关文章

产品评测:SmartX 与 Nutanix 超融合在数据库场景下的性能表现

重点内容 SmartX 与 Nutanix 超融合分布式存储设计差异如何影响数据库性能表现。重点测试结论:数据库场景下,SmartX 超融合基于单卷部署的性能,依旧优于 Nutanix 超融合基于多卷部署最佳配置的性能。更多 SmartX、VMware、Nutanix 超融合技术…

武汉凯迪正大—电能质量测试仪功能特点

武汉凯迪正大电能质量测试仪功能特点 1. 仪器是专门用于检测电网中发生波形畸变、谐波含量、三相不平衡等电能质量问题的高精度测试仪器;同时还具备电参量测试、矢量分析的功能。 2. 可精确测量电压、电流、有功功率、无功功率、相角、功率因数、频率等多种电参量…

【Redis分布式缓存】分片集群

Redis 分片集群 搭建分片集群 集群结构 分片集群需要的节点数量较多,这里我们搭建一个最小的分片集群,包含3个master节点,每个master包含一个slave节点,结构如下: 这里我们会在同一台虚拟机中开启6个redis实例&…

Benchmarksql压测

Benchmarksql压测 TPC-C测试的结果主要有两个指标,即流量指标(Throughput,简称tpmC)和性价比(Price/Performance,简称Price/tpmC)。 流量指标(Throughput,简称tpmC):按照TPC组织的定义,流量指标描述了系统在执行支付…

Js地图路线规划以及点击获取经纬度

废话不多说&#xff0c;直接上代码。 代码script引用链接链接来自高德地图开放平台。&#xff08;高德开放平台 | 高德地图API (amap.com)&#xff09; <!doctype html> <html><head><meta charset"utf-8"><meta http-equiv"X-UA-…

给水排水工程设计乙级资质升级的业绩要求

1. 设计项目数量&#xff1a;单位需要有一定数量的给水排水工程设计项目实施经验&#xff0c;包括设计方案、施工图纸等&#xff0c;以证明单位在该领域有一定的设计实践经验。 2. 项目规模&#xff1a;设计项目的规模和复杂程度也是升级的重要考量因素&#xff0c;单位需要有一…

LangChain 入门6 magic不同格式文件的读取

概述&#xff1a; 除了原始文本数据&#xff0c;可能还希望从其他文件类型&#xff08;如PowerPoint演示文稿或PDF&#xff09;中提取信息。 可以使用LangChain文档加载程序将文件解析为可以输入LLM的文本格式。 基于MIME类型的解析 数据加载 import requestsresponse req…

MySQL数据库创建视图_日常练习

两种方法 1.直接点创建视图 定义里写入&#xff0c;可在SQL预览里查看 SELECT * FROM student where age<18 2.新建查询语句DQL CREATE view student_age_little18 as SELECT * FROM student where age<18;