flink cdc同步mysql数据

ops/2025/3/14 22:40:05/

一、api

添加依赖

<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-mysql-cdc</artifactId><!--  请使用已发布的版本依赖,snapshot 版本的依赖需要本地自行编译。 --><version>3.3-SNAPSHOT</version>
</dependency>

二、sql客户端

客户端只需要添加 flink-sql-connector-mysql-cdcjar包(注意:和api依赖的包名区分),这里面已经整合了debezium-connector-mysql模块
在这里插入图片描述

下载地址:
在这里插入图片描述

配置同步

CREATE TABLE mysql_cdc_source (order_id STRING,user_id STRING,amount DECIMAL(10,2),update_time TIMESTAMP(3),dt STRING,PRIMARY KEY (order_id) NOT ENFORCED
) WITH ('connector' = 'mysql-cdc','hostname' = 'chb1','port' = '3306','username' = 'root','password' = '123456','database-name' = 'paimon_test','table-name' = 'mysql_orders','server-time-zone' = 'Asia/Shanghai'  -- 时区配置(避免时间偏差)
);
select * from mysql_cdc_source;

参考:https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/flink-sources/mysql-cdc/


http://www.ppmy.cn/ops/165779.html

相关文章

【后端】【django drf】django自动导出优雅的api文档的写法

Django DRF API 编写规范&#xff08;包含 OpenAPI 生成规则&#xff09; 为了确保 Django DRF API 代码的可维护性、可扩展性&#xff0c;同时生成清晰、规范、结构层次分明的 OpenAPI 文档&#xff0c;必须遵循以下规则。 一、使用 drf-spectacular 生成 OpenAPI 文档 &…

2025年智能工单管理系统产品推荐

工单管理系统已成为企业数字化转型的“智能中枢”&#xff0c;尤其在生成式AI深度赋能的2025年&#xff0c;系统的选择直接影响30%以上的服务响应效率。本文从AI融合深度、产品竞争力、场景适配性等维度&#xff0c;为您精心推荐2025年五大智能工单系统。 一、轻帆云&#xff0…

05延迟任务精准发布文章(redis实现延迟任务、分布式锁)

上架不代表发布(需要发布app端才会显示文章&#xff09; 1)文章定时发布 2)延迟任务概述 2.1)什么是延迟任务 定时任务&#xff1a;有固定周期的&#xff0c;有明确的触发时间 延迟队列&#xff1a;没有固定的开始时间&#xff0c;它常常是由一个事件触发的&#xff0c;而在…

如何重置 MySQL root 用户的登录密码?

重置 MySQL root 密码的核心步骤是绕过权限验证登录数据库并更新密码字段。以下是具体方法&#xff1a; 方法一&#xff1a;通过 --SKIP-GRANT-TABLES 模式修改密码 停止 MySQL 服务 Windows&#xff1a;在命令行执行 net stop mysql&#xff08;服务名可能为 mysql80 或 mysql…

【实战篇】执行计划解析

执行计划解析 获取执行计划 数据库优化器可能会根据连接方式、连接条件等因素选择不同的执行计划。你可以通过 EXPLAIN 关键字查看两个查询的执行计划&#xff0c;以便更好地理解优化器的选择。 EXPLAIN SELECT ... -- 替换 ... 部分为你的查询内容观察执行计划并查看其中的…

有哪些好用的AI视频加工创作网站

以下是当前较为流行且功能强大的AI视频创作与加工平台&#xff0c;涵盖视频生成、编辑、特效及自动化处理等功能&#xff0c;适合不同需求的用户&#xff1a; 一、AI视频生成工具 1. Synthesia - 特点&#xff1a;AI虚拟人像生成&#xff0c;支持100语言配音&#xff0c;无…

【每日学点HarmonyOS Next知识】类型判断、刘海高度、隐私弹窗、滑动下一页效果、清楚缓存

1、HarmonyOS instanceof判断错误&#xff1f; ArkTS部分支持instanceof&#xff0c;可参考文档&#xff1a;https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/typescript-to-arkts-migration-guide-V5 instanceof运算符在传递的过程中可能会发生以下情况&…

大数据学习(66)- CDH管理平台

&#x1f34b;&#x1f34b;大数据学习&#x1f34b;&#x1f34b; &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 用力所能及&#xff0c;改变世界。 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4dd;支持一…