Flink Gauss CDC:深度剖析存量与增量同步的创新设计

ops/2025/1/24 7:25:32/

目录

设计思路

1.为什么不直接用FlinkCDC要重写Flink Gauss CDC

2.存量同步的逻辑是什么

2.1、单主键的切片策略是什么

2.2、​​​​​复合主键作切片,怎么保证扫描到所有的数据

3、增量同步的逻辑是什么

4、存量同步结束之后如何无缝衔接增量同步 

5、下游数据如何落库

6、项目结构大概怎么样

总结


设计思路

1.为什么不直接用FlinkCDC要重写Flink Gauss CDC

GaussDB 是华为内部自研的一套数据库,提供了类似于PostgreSQL的逻辑复制插件。Gauss100 OLTP逻辑复制解析包含逻辑日志信息的REDO日志,只有当表逻辑复制开关和全局逻辑复制开关同时打开时,该表的数据才会被逻辑复制。变化的数据最终到kafka,假设对表USRSAMPLE.T1(F1,F2)字段分别进行插入,更新,删除操作同步的消息格式如下:

[{

http://www.ppmy.cn/ops/152682.html

相关文章

B树系列详解

B树 前言1. B树的概念2. B-树的插入3. B-树的插入实现3.1 B-树节点设计3.2 插入key的过程3.3 B树的简单验证3.4 B树性能分析 4. B树和B*树4.1 B树5.2 B*树5.3 总结 前言 常见的搜索结构: 种类数据格式时间复杂度顺序查找无要求O(N)二分查找有序O( l o g 2 N log_2…

单片机-STM32 WIFI模块--ESP8266 (十二)

1.WIFI模块--ESP8266 名字由来: Wi-Fi这个术语被人们普遍误以为是指无线保真(Wireless Fidelity),并且即便是Wi-Fi联盟本身也经常在新闻稿和文件中使用“Wireless Fidelity”这个词,Wi-Fi还出现在ITAA的一个论文中。…

Cursor的详细使用指南

以下是一份关于 Cursor 的详细使用指南: 一、安装与设置 下载与安装: 首先,访问 Cursor 的官方网站,根据你的操作系统(Windows、Mac 或 Linux)下载相应的安装程序。运行安装程序,按照屏幕上的提…

GESP202309 三级【进制判断】题解(AC)

》》》点我查看「视频」详解》》》 [GESP202309 三级] 进制判断 题目描述 N N N 进制数指的是逢 N N N 进一的计数制。例如,人们日常生活中大多使用十进制计数,而计算机底层则一般使用二进制。除此之外,八进制和十六进制在一些场合也是常用…

Linux(Centos 7.6)命令详解:wc

1.命令作用 打印文件的行数、单词数、字节数,如果指定了多个文件,还会打印以上三种数据的总和(Print newline, word, and byte counts for each FILE, and a total line if more than one FILE is specified) 2.命令语法 Usage: wc [OPTION]... [FIL…

SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用

SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用 文章目录 SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用一. 使用SpringBoot自带的定时任务(适用于小型应用)二. 使用调度框架…

c++常见设计模式之装饰器模式

基础介绍 装饰器模式是结构型设计模式,从字面意思看装饰器设计模式就是用来解决在原有的实现基础上添加一些额外的实现的问题。那么正统的概念是什么呢?装饰器模式允许我们动态的向对象添加新的 行为,同时不改变其原有的结构。它是一种比继承…

Node.js日志记录新篇章:morgan中间件的使用与优势

在Node.js的广阔生态系统中,日志记录是开发过程中不可或缺的一部分。它不仅有助于开发者追踪应用程序的运行状态,还能在出现问题时提供宝贵的调试信息。而在众多日志记录工具中,Morgan以其高效、易用和专注于HTTP请求日志的特点,成…