hbase hbck

news/2024/11/8 16:56:03/

https://issues.apache.org/jira/browse/HBASE-5128 

https://github.com/jmhsieh/hbase-repair-scripts 

 

HBASE-5128之前版本的HBCK:

检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性 

 

(1)获取所有region的信息(regioninfo):通过zk获得-ROOT-地址,通过扫描-ROOT-表和.META.表,就获得了所有region的信息 

(2)遍历所有的region,获得所有表信息 

(3)通过ClusterStatus获得regionserver信息 

(4)多线程连接每个regionserver,获得这个regionserver上面online的region信息。记录下region是在那个regionserver上面 

(5)遍历hbase.rootdir,获得所有的table,多线程遍历各个table的目录,记录下region是在那个目录下面 

(6)通过zk获得所有disabled的tables 

(7)检查一致性,检查每一个region 

      正常的状态是: 

      【1】在META表中,hdfs上面有,表不是disabled的, region在某个regionserver的online region集合中,META表中记录的server信息和open了这个region的regionserver一致,并且没有被多个regionserver同时服务 

      【2】在META表中,region是split完的Parent region,没有被某个regionserver服务 

      【3】在META表中,表是disabled的,并且没有被某个regionserver服务 

      异常的状态是: 

     (7.1)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中,那么输出NOT_IN_META_HDFS错误信息 

     (7.2)如果一个region不在META表中,又不在regionserver的online region集合中,但是在hdfs上面,输出NOT_IN_META_OR_DEPLOYED错误信息 

     (7.3)如果一个region不在META表中,但是在hdfs上面有,并且在regionserver的online region集合中,那么输出NOT_IN_META错误信息 

     (7.4)如果一个region在META表中,但是在hdfs上面没有,并且也不在regionserver的online region集合中,那么输出NOT_IN_HDFS_OR_DEPLOYED错误信息 

     (7.5)如果一个region在META表中,并且在regionserver的online region集合中有,但是在hdfs上面没有,那么输出NOT_IN_HDFS错误信息 

     (7.6)如果一个region在META表中,在hdfs上面也有,但是不再online region集合中,并且这个region所在的table不是Disabled的,那么输出NOT_DEPLOYED错误信息。 可以修复 

     (7.7)如果一个region在META表中,在hdfs上面有,在online region集合中,如果这个region所在的table是Disabled的,那么输出SHOULD_NOT_BE_DEPLOYED错误信息。 

     (7.8)如果一个region在META表中,在hdfs上面有,但是被在多个regionserver的online region集合中,那么输出MULTI_DEPLOYED错误信息。可以修复 

     (7.9)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符,那么输出SERVER_DOES_NOT_MATCH_META错误信息。可以修复 

     (7.10)如果是其他情况,输出UNKNOWN 

(8)检查完整性,以table为单位,遍历每个table 

     (8.1)table的第一个region的startKey必须是EMPTY_BYTE_ARRAY,否则输出FIRST_REGION_STARTKEY_NOT_EMPTY信息 

     (8.2)如果这个table有(startKey=endKey)的region,输出DEGENERATE_REGION信息 

     (8.3)如果两个region的区间有重叠,startKey相同输出DUPE_STARTKEYS信息,不相同输出OVERLAP_IN_REGION_CHAIN信息 

     (8.4)如果某个区间没有region,输出HOLE_IN_REGION_CHAIN信息(空洞) 

(9)打印table的总结信息 

 

 

hbck加上 -fix 可以自己修复下面三种情况: 

(7.6)如果一个region在META表中,在hdfs上面也有,但是不再online region集合中,并且这个region所在的table不是Disabled的,那么输出NOT_DEPLOYED错误信息。 

(7.8)如果一个region在META表中,在hdfs上面有,但是被在多个regionserver的online region集合中,那么输出MULTI_DEPLOYED错误信息。 

(7.9)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符,那么输出SERVER_DOES_NOT_MATCH_META错误信息。

 

原先的hbck检测region的一致性和table的完整性,但是需要管理员自己修复,修复后,如果一致性和完整性没有问题,通过OfflineMetaRepair来构造新的META表 

 

HBASE-5128 中的hbck能够检测region的一致性和table的完整性,并且可以修复完整性和一致性相关的问题 

所以有了新版的hbck,这个github上面的脚本用途不是特别大 

 

新版的hbck

 

新版本的 hbck 可以修复各种错误,修复选项是: 

(1)-fix,向下兼容用,被-fixAssignments替代 

(2)-fixAssignments,用于修复region assignments错误 

(3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。 

(4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题 

(5)-fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region) 

(6)-fixHdfsOverlaps,修复region overlaps(区间重叠)问题 

(7)-fixVersionFile,修复缺失hbase.version文件的问题 

(8)-maxMerge <n> (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。 

(9)-sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region) 

(10)-maxOverlapsToSideline <n> (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与 

由于选项较多,所以有两个简写的选项 

(11) -repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 

(12)-repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans 

 

 

 

新版本的 hbck 

(1)缺失hbase.version文件 

 加上选项 -fixVersionFile 解决 

(2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中 

 加上选项 -fixAssignments 解决 

(3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有 

 加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录) 

(4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有 

加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录) 

(5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了 

加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign 

(6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务 

加上选项 -fixMeta 解决,删除META表中的记录 

(7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务 

加上选项 -fixAssignments 解决,assign这个region 

(8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了 

加上选项 -fixAssignments 解决,undeploy这个region 

(9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了 

加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region 

(10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符 

加上选项 -fixAssignments 解决 

 

(11)region holes 

需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息 

(12)region在hdfs上面没有.regioninfo文件 

-fixHdfsOrphans 解决 

(13)region overlaps 

需要加上 -fixHdfsOverlaps 

 

 

说明: 

(1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans 

(2) -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题 

(3)-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息 

(4)-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 

 

新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair

分享到:

http://www.ppmy.cn/news/703843.html

相关文章

hbase HBCK2使用指南

文章目录 基本慨念源码编译以及下载运行hbck2工具hbck2参数注意Hbck2简介寻找问题诊断工具 基本慨念 HBCK2 每次运行时都会执行一个独立的任务。 它并不是一个可以分析所有关于正在运行的集群&#xff0c;然后修复发现的“所有问题”&#xff0c;如 hbck1 使用的建议的工具。 …

TFT-LCD电路设计之时序控制电路(TCON)

时序控制电路&#xff08;TCON&#xff09; TCON中除了输入接口的Rx电路和输出电路接口Tx电路外&#xff0c;还包含&#xff1a;①驱动IC控制模块&#xff1b;②数据处理功能块&#xff1b;③显示屏特殊技术功能块。Control Signal Generator 属于驱动IC控制功能模块&#xff…

Hbase HBCK2

文章目录 1. Apache HBase HBCK2 Tool1.1. HBCK2 vs hbck11.2. 总述1.3. 获取 HBCK21.4. 构建 HBCK21.5. 运行 HBCK21.6. HBCK2 概述1.7. 发现问题1.7.1. 诊断工具1.7.1.1. Master Logs1.7.1.2. Master UI: /master-status#tables1.7.1.3. Master UI: Procedures & Locks1.…

Windows HLK

最近开始了解硬件驱动的数据签名和Windows的WHQL认证&#xff08;Win10系统&#xff0c;其他系统请查看微软官方技术文档&#xff09;&#xff0c;现将查阅到的WHQL的技术资料分享给大家。以下为微软官方的一段原话&#xff1a; 适用于 Windows 10 的 Windows Hardware Lab Ki…

Windows设备驱动开发HCK认证环境搭建(一)

安装Windows Server2008 R2 SP1英文版&#xff0c;切记只能是安装英文版&#xff0c;这里有 许多 坑 不能是Windows Server 2012 虽然网上说可以&#xff0c;但实际试了几遍也不可以&#xff0c;也不能是Server 2008 R2&#xff0c;切必须是SP1。 安装Framework4.5.2&#xff…

hbase hbck使用介绍

hbase hbck 1、简介 hbck工具可以检测hbase集群的region一致性和完整性&#xff0c;同时可以修复损坏的集群数据 工作模式两种&#xff1a;一致性检测只读模式&#xff0c;和多阶段修复模式 2、集群的一致性状态 1&#xff09;region一致性 集群中所有region都被assign&a…

HCK驱动签名

一、HLK/HCK签名 这种类型的驱动签名需要先进行HLK/HCK的测试&#xff0c;其中HCK&#xff08;HardwareCertification Kit&#xff09;是win8、win8.1的驱动测试工具&#xff1b;而HLK&#xff08;Hardware Lab Kit&#xff09;是微软随win10而新推出的驱动测试工具。HLK/HCK类…

whck测试小结

WHCK认证简介 最近所做的工作中最多的就是微软徽标认证&#xff0c;具体使用的是HCK Studio和HCK Manager管理工具对驱动进行测试。下面对WHCK做个简单的介绍。 获得认证的好处比较多&#xff0c;最主要的是可以是使用微软的徽标&#xff0c;这表明微软对我们产品与Windows操…