Apache paimon-CDC

ops/2024/10/30 12:32:31/

 CDC集成

paimon支持五种方式通过模式转化数据提取到paimon表中。添加的列会实时同步到Paimon表中

  • MySQL同步表:将MySQL中的一张或多张表同步到一张Paimon表中。
  • MySQL同步数据库:将MySQL的整个数据库同步到一个Paimon数据库中。
  • API同步表:将您的自定义DataStream输入同步到一张Paimon表中。
  • Kafka同步表:将一个Kafka topic的表同步到一张Paimon表中。
  • Kafka同步数据库:将一个包含多表的Kafka主题或多个各包含一表的主题同步到一个Paimon数据库中。

1、Mysql同步

准备:必须添加FlinkCDC连接器

cp flink-sql-connector-mysql-cdc-3.0.1.jar /opt/module/flink-1.18.0/lib,重启yarn-session集群和sql-client。重启yarn-session集群和sql-client。

1.1同步表

1)语法说明

<


http://www.ppmy.cn/ops/129582.html

相关文章

QT中使用图表之QChart绘制曲线图

步骤和绘制折线图一模一样&#xff0c;只不过使用的系列是曲线系列QSplineSeries 不过我们也可以不用自己来创建轴 而是先把曲线系列创建好并添加到图表中之后 ----------------------------------------------------------------------------------------------------------…

UDP组播测试

支持组播的接口&#xff1a; ip a | grep MULTICAST 环回接口虽然显示不支持组播&#xff0c;实际也可以用于本地测试。 添加路由&#xff08;非必须&#xff1f;&#xff09;&#xff1a; ip route add 239.0.0.0/24 via 10.10.10.206 dev eth0 开放防火墙&#xff1a; 查…

qt配置https请求

qt配置https请求 老套路&#xff0c;一图胜千言&#xff0c;在ui界面请求搜狗&#xff0c;看看能返回什么内容 平台信息 - 开发机操作系统 【win11】 - qt版本 【5.13.2 】 - 编译器 【Mingw32(qt自带安装) 】 - 目标平台【win32】&#xff0c;win7及win7以上x86/64 windows…

论文略读:AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling

ACL 2024 在单一框架内整个多个模态 采用离散表示来统一处理文本、各种模态、图像和音乐

SpringBoot3使用MyBatisPlus时遇到的问题 Invalid bean definition with name

问题&#xff1a; 运行springboot3项目报错&#xff1a;Invalid bean definition with name ‘XXXMapper’ defined in file… 原因&#xff1a;springboot3支持的mabits-plus依赖不同导致的 解决办法&#xff1a; 修改为&#xff1a; <dependency><groupId>com…

10.24.2024刷华为OD C题型(四) -- 对象list按照多个属性排序

文章目录 最长连续子序列AI面板识别语法知识记录 最长连续子序列 https://www.nowcoder.com/discuss/592408743019589632 if __name__ "__main__":# 获取用户输入# numbers int(input().split(,))# str_arr input().split(,)arr [int(num) for num in input(…

C#判断点是否在矩形内

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家&#xff01;人工智能学习网站 前言&#xff1a; 大家好&#xff0c;我是上位机马工&#xff0c;硕士毕业4年年入40万&#xff0c;目前在一家自动化公司担任…

【报错】FastGPT本地部署通义千问,报错undefined 当前分组 default 下对于模型 qwen:7b 无可用渠道 【搭建企业级知识库问答系统】

fastgpt报错undefined 当前分组 default 下对于模型 qwen:7b 无可用渠道 安装视频教程【搭建企业级知识库问答系统&#xff0c;本地、免费、私有化、离线、零成本】 https://www.bilibili.com/video/BV1ALxLeuE7W/ 解决方法 只留下自己需要的模型即可&#xff0c;多刷新几遍