HBase-replication流程

news/2024/11/24 10:48:55/

一、核心工作原理

二、主要流程解析

2.1获取从集群rs列表流程

  1. 初始化从集群zk连接: 只会在RS启动的时候初始化或者新增peer的时候一次,后续不再初始化,所以不从集群扩容后不能被主集群识别到

  1. 将从集群的zk连接传递给ReplicationEndpoint:在ReplicationSourceManager初始化ReplicationEndpoint的时候

  1. 获取从集群的rs列表

  1. 在ReplicationSource初始化后第一次发送replication的时候会去连接peer然后将从集群的rs列表缓存

  1. 每次进行replication的时候会判断从集群的rs列表是否有变化,如果有则会重新连接从集群的zk获取从集群的列表,如果获取新列表失败则继续使用缓存的老列表

QA:

1.replication怎么获取的需要同步的任务?

有三个地方:rs初始化的时候、同集群内其它的rs宕机的时候、wal发生滚动的时候

2.目标集群扩容/缩容之后源集群怎么知道新节点加入了?

每次需要进行同步新的wal的时候,都会连接在启动的时候记录的从集群的zk,从而获取到从集群的rs列表

3.不同rsgroup的regionserver可以进行failover吗?

可以,从transferQueues的逻辑上来看,并没有区分出不在同一个分组就不能接管其它分组的RS的replication

4.source将wal写入到从集群随机指定的rs后,从集群的指定rs还需要再将数据重新转发到region所在的rs吗?

当数据同步到从集群之后,在从集群rs的ReplicationSink充当客户端,通过Table接口将数据发给同集群内的目标rs


http://www.ppmy.cn/news/22875.html

相关文章

C++初阶--哈希

目录 unordered系列关联式容器 unordered_map unordered_set 底层结构(哈希) 概念 哈希冲突 哈希函数 哈希冲突解决 1.闭散列 2.开散列 开散列与闭散列比较 模拟实现unordered_map 和 unordered_map HashTable.h UnorderedMap.h UnorderedSet.h 哈希的应用 位图 位图的实现…

【面试题】Java面试题整理6

1.对AOP的理解 相关概念 切面:一个特殊的模块化类。通知:切面类中的具体的方法切点:通知要执行的具体位置 任何一个系统都是由不同的组件组成的,每个组件负责一块特定的功能,当然会存在很多组件是跟业务无关的&…

【回溯算法篇】N皇后问题

🌠作者:阿亮joy. 🎆专栏:《数据结构与算法要啸着学》 🎇座右铭:每个优秀的人都有一段沉默的时光,那段时光是付出了很多努力却得不到结果的日子,我们把它叫做扎根 目录👉…

9-数据库优化

数据库优化通常是为了减轻对数据库压力,优化方式可以从使用缓存、数据库配置、sql和索引优化入手; 使用缓存可以将系统请求先打向缓存,如果缓存中有我们要获取的数据,那将不会再走数据库。 数据库配置方面是指可以通过修改数据库配…

KT中代理属性的实现及使用案例分析

普通的delegate代理属性get/set方法,可以看到类中会声明一个数组保存需要代理的所有KProperty字段信息(包含类名,字段名称,字段签名()) PS:冷知识map也可以用于委托,只要有get/set方…

day07_Java中的流程控制(循环结构丶break丶continue)

循环概述 循环语句可以在满足循环条件的情况下,反复执行某一段代码,这段被重复执行的代码被称为循环体语句,当反复执行这个循环体时,需要在合适的时候把循环判断条件修改为false,从而结束循环,否则循环将一…

Vue 3 中的极致防抖/节流(含常见方式防抖/节流)

各位朋友你们好呀。今天是立春,明天就是正月十五元宵节了,这种立春 元宵相隔的时候,可是很难遇到的,百年中就只有几次。在这提前祝大家元宵快乐。 今天给大家带来的是Vue 3 中的极致防抖/节流(含常见方式防抖/节流&a…

binwalk远程命令执行漏洞原理以及演示 CVE-2022-4510

简介 根据cve官方描述,从版本2.1.2到 2.3.3的binwalk中发现了一个路径遍历漏洞。此漏洞允许远程攻击者在安装受影响的binwalk机子上执行任意代码 什么是PFS文件 PFS文件是由PhotoFiltre Studio(图像修饰程序)创建的选择文件。 它包含图像编…