目录
设计思路
1.为什么不直接用FlinkCDC要重写Flink Gauss CDC
2.存量同步的逻辑是什么
2.1、单主键的切片策略是什么
2.2、复合主键作切片,怎么保证扫描到所有的数据
3、增量同步的逻辑是什么
4、存量同步结束之后如何无缝衔接增量同步
5、下游数据如何落库
6、项目结构大概怎么样
总结
设计思路
1.为什么不直接用FlinkCDC要重写Flink Gauss CDC
GaussDB 是华为内部自研的一套数据库,提供了类似于PostgreSQL的逻辑复制插件。Gauss100 OLTP逻辑复制解析包含逻辑日志信息的REDO日志,只有当表逻辑复制开关和全局逻辑复制开关同时打开时,该表的数据才会被逻辑复制。变化的数据最终到kafka,假设对表USRSAMPLE.T1(F1,F2)字段分别进行插入,更新,删除操作同步的消息格式如下:
[{