FlinkCDC系列:通过skipped.operations参数选择性处理新增、更新、删除数据

news/2025/1/16 3:34:07/

在flinkCDC源数据配置,通过debezium.skipped.operations参数控制,配置需要过滤的 oplog 操作。操作包括 c 表示插入,u 表示更新,d 表示删除。默认情况下,不跳过任何操作,以逗号分隔。配置多个操作,需要英文逗号分隔。

官网说明地址:Debezium connector for MySQL :: Debezium Documentation

使用实例如下:

REATE TABLE IF NOT EXISTS `test_source` (

`testid` varchar ( 32 ),

`name` int,

`addre` varchar ( 100 ),

`stat` int,

`updateTime` TIMESTAMP,

PRIMARY KEY ( `testid` ) NOT ENFORCED

) WITH (

'connector' = 'mysql-cdc',

'hostname' = '*******',

'port' = '**',

'username' = '***',

'password'='********',

'database-name' = 'dbname',

'scan.startup.mode' = 'initial',

'debezium.skipped.operations'='d,c',

'table-name' = 'tablename'

);


http://www.ppmy.cn/news/1189201.html

相关文章

无需频繁登录支付宝网站即可完成商家转账,实时到账,方便安全快捷

大家好,我是小悟 转账到支付宝账户是一种通过 API 完成单笔转账的功能,支付宝商家可以向其他支付宝账户进行单笔转账。 商家只需输入另一个正确的支付宝账号,即可将资金从本企业支付宝账户转账至另一个支付宝账户。 该产品适用行业较广&am…

【pdf密码】PDF没有密码,为什么不能编辑?

打开PDF文件的时候,没有提示带有密码,但是打开文件之后发现没有办法编辑PDF文件,这个是因为PDF文件设置了限制编辑,我们需要将限制取消才能够编辑文件。 那么,我们应该如何取消密码,编辑文件呢&#xff1f…

CentOS Stream9 修改阿里源

CentOS Stream 9 修改阿里源 一、备份二、修改源地址三、刷新源数据 一、备份 cp /etc/yum.repos.d/centos.repo /etc/yum.repos.d/centos.repo.backup二、修改源地址 编辑文件 vi /etc/yum.repos.d/centos.repo主要修改BaseOS和AppStream两个源 修改后如下: [b…

毛发渲染方案实现

一、毛发材质概述 以前毛发只能用离线来做 现在实时毛发逐渐可能。长毛渲染和短毛渲染采用的是不同的方案。 二、长毛类制作分析 各向异性 kajiya算法 # 三、短毛类制作分析 四、制作心得及技巧

Apache Dolphinscheduler如何不重启解决Master服务死循环

个人建议 Apache Dolphinscheduler作为一个开源的调度平台,目前已经更新到了3.X版本,4.0版本也已经呼之欲出。3.0版本作为尝鲜版本,新添加了许多的功能,同时也存在非常多的隐患,本人使用3.0版本作为生产调度也踩了很多…

从零开始的目标检测和关键点检测(二):训练一个Glue的RTMDet模型

从零开始的目标检测和关键点检测(二):训练一个Glue的RTMDet模型 一、config文件解读二、开始训练三、数据集分析四、ncnn部署 从零开始的目标检测和关键点检测(一):用labelme标注数据集 从零开始的目标检测…

瑞萨e2studio(28)----SPI 驱动WS2812灯珠

瑞萨e2studio.28--SPI 驱动WS2812灯珠 概述视频教学样品申请芯片级联方法数据传输时序新建工程软件准备保存工程路径芯片配置开始SPI配置SPI属性配置时钟配置SPI配置CPHA配置代码hal_entry.cws2812.cws2812.h 概述 本文介绍了如何使用瑞萨RA微控制器,结合E2STUDIO…

怎么理解电流超前电压、电压超前电流?

电容和电感,电压超前电流,电流超前电压都是我们经常听到的。作为非专业人士,这些听起来确实有点摸不着头脑,今天特别查了下电容、电感、电压电流相关资料,总算是弄明白了,在此特地记录下! 1. 电…