hbase hbck使用介绍

news/2024/11/8 17:49:24/

hbase hbck

1、简介

hbck工具可以检测hbase集群的region一致性和完整性,同时可以修复损坏的集群数据

工作模式两种:一致性检测只读模式,和多阶段修复模式

2、集群的一致性状态

1)region一致性

集群中所有region都被assign,且region在Master内存、ZK和hbase:meta表三个地方一致

2)表完整性

集群中的任意一张表,每个rowkey都仅能存在于一个region区间中

3、集群一致性状态检测

1)命令

hbase hbck

一般集群规模较大尽量不要直接执行,最好是对表进行扫描,直接在命令后加表名即可,多个表直接空格隔开

返回结果为Status: INCONSISTENT 或者Status: OK ;

如果region在move、split、merger时,执行命令是会显示有问题的,所以最好多次执行看

2)常用参数

-details 可以输出更详细的信息

-summary 只打印表和状态的的概要信息

-metaonly 只检查hbase:meta表的状态

4、修复参数

1)修复思路

修复后。使得Region的状态在。regioninfo文件、Master内存、ZK临时节点和hbase:meta表中数据一致

2)常用修复参数

​ -fixAssignments 用来修复region的分配,assign问题,如果有region没有assign或者同时assign到多台RS上等问题

​ -fixMeta 用来修复元数据,即HDFS上和元数据表中记录不一致问题,原则上是认为HDFS是正确的,即如果HDFS中有这个region,元数据表中没有,就在元数据表中添加,如果元数据表多了,就删除

​ -noHdfsChecking 不从hdfs上检查region信息,即假设meta表示正确的

​ -fixHdfsHoles 修复hdfs中的region黑洞,一般会和-fixAssignments -fixMeta参数一起用,或者使用

-repairHoles参数等同于 这三个参数同时使用

​ -fixRITAssignment 修复长RIT region

​ -repair 如果不知道用什么参数的话,就用这个参数,包含了常用的修复参数,也包含个高危操作

​ -help 。。。。。

### 3)慎用参数

​ -checkCorruptHFiles 检查所有Hfile,通过逐一打开Hfile来确定是否可用

​ -sidelineCorruptHFiles 隔离损坏的Hfile,这个参数包含上一个check参数

​ -fixTableLocks 删除已持有超长时间的table lock,默认是10分钟

​ -fixOrphanedTableZnodes 如果表不存在,则在ZK中将ZNOde的状态设置disabled

5、修复案例

1)hbase.version文件丢失

1>现象

集群启动时候会加载hdfs上的这个文件,如果丢失,集群或者损坏,系统就不能启动

2>解决思路

hbase hbck -fixVersionFile

对hbase.version修复或者生成


http://www.ppmy.cn/news/703837.html

相关文章

HCK驱动签名

一、HLK/HCK签名 这种类型的驱动签名需要先进行HLK/HCK的测试,其中HCK(HardwareCertification Kit)是win8、win8.1的驱动测试工具;而HLK(Hardware Lab Kit)是微软随win10而新推出的驱动测试工具。HLK/HCK类…

whck测试小结

WHCK认证简介 最近所做的工作中最多的就是微软徽标认证,具体使用的是HCK Studio和HCK Manager管理工具对驱动进行测试。下面对WHCK做个简单的介绍。 获得认证的好处比较多,最主要的是可以是使用微软的徽标,这表明微软对我们产品与Windows操…

Windows设备驱动开发HCK认证环境搭建(二)

客户端安装相对简单执行,以管理员方式执行\\WIN-S9G2DEDFJ62\HCKInstall\Client\Setup.exe 其中WIN-S9G2DEDFJ62为机器名,运行后需要输入服务器的用户密码,确定后点RUN下一步下一步即可 直到运行完成为止。

Hawkeye

又搬来了一个神器~~ 基于PyTorch、易上手,细粒度图像识别深度学习工具库 细粒度图像识别 [1] 是视觉感知学习的重要研究课题,在智能新经济和工业互联网等方面具有巨大应用价值,且在诸多现实场景已有广泛应用…… 鉴于当前领域内尚缺乏该方面…

HBCK2 详解

一. hbck2使用 hbase hbck -help&#xff1a;hbck帮助&#xff0c;执行后反馈输出hbck的帮助文档。没太多有效信息&#xff0c;主要就是说hbase2.x里面不再支持hbck1。 使用hbase hbck -j hbase-hbck2-1.1.0.jar --help 输出帮助信息。 bypass [OPTIONS] <PID.>… 参…

[ 电子]STM32驱动28BYJ-48步进电机实现外网控制

新人博主Github>https://github.com/MartinxMax 这个项目能做什么?用到了哪些编程语言&#xff1f;需要什么硬件?硬件接线配置SIM900ASTM32 C语言代码服务器 Python流量转发代码控制端 Python代码效果演示 这个项目能做什么? 解除局域网内限制&#xff0c;实现任意地方远…

hbck

Apache HBase HBCK2 Tool HBCK2是hbase-1.x修复工具&#xff08; 也称作hbck1&#xff09;的继承者。 使用它代替hbck1进行hbase-2.x安装修复。 hbck1 不应该对hbase-2.x群集运行hbase-1.x附带的hbck工具&#xff08; hbck1&#xff09;。 它可能会造成损坏。 虽然hbck1仍然…

Windows驱动 HCK测试方法及数字签名使用方法介绍

一、 HCK安装及使用方法介绍 1. 安装环境要求 操作系统&#xff1a; Windows Server2008 R2英文版 需要两台电脑&#xff0c;一台做测试服务器&#xff0c;另一台做测试机 网络要求&#xff1a;两台电脑必须都能连接internet&#xff0c;并同属一个局域网 地区语言&#xf…