Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式

server/2024/9/24 5:41:53/

不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector),在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时,都会遇到 DataTime / Timpstamp 类型的转换问题,即:原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式,但是,转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间),这带来的问题是:下游表基于 Json 数据建表时,对应的字段/列不能直接声明为 DataTime / Timpstamp 类型,而是必须先声明 bigint / long 类型后再进行格式转换,这带来了很大的不变,更坏的影响是,在 Flink SQL 中就不能使用 like 子句来建表了,导致手写大量的 SQL。

这个问题的解法不 Flink CDC / Kafka Connect 上,而在 Debezium 自身,对于 Flink CDC 和 Kafka Connect 是通用的,就是:开发 Debezium 的 Custom Converter,自动对时间类型的数据进行格式转换。需要注意的是:Debezium 的 Custom Converter 机制做过重大升级,编写自定义的 Converter 时要注意你所使用的 Debezium 的版本!

首先,我们看一下 Debzium 官方文档对于自定义时间格式转化给出的方案:https://debezium.io/documentatio


http://www.ppmy.cn/server/18375.html

相关文章

智慧安防视频监控EasyCVR视频汇聚平台无法自动播放视频的原因排查与解决

国标GB28181协议EasyCVR安防视频监控平台可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力,平台支持7*24小时实时高清视频监控,能同时播放多路监控视频流…

服务器防护哪家好

在当前的网络安全环境中,服务器防护已经成为企业和个人防御网络威胁的重要一环。选择一个高效且可靠的服务器防护方案是至关重要的。今天我们来看一下为什么安全狗的服务器防护哪家好呢,一起来看看安全狗服务器防护的介绍吧。 首先,安全狗提供…

后端开发大纲

后端3要素: 后端编程语言:java、python等后端框架:spring、django等,降低构建后端程序的难度包管理工具:maven、pip等,别人把代码打包成包供我们调用 域名:重定向到urlREST风格api:请…

flutter开发实战-build apk名称及指令abiFilters常用gradle设置

flutter开发实战-build apk名称及指令abiFilters常用gradle设置 最近通过打包flutter build apk lib/main.dart --release,发现apk命名规则需要在build.gradle设置。这里记录一下。 一、apk命名规则 在android/app/build.gradle中需要设置 android.applicationVa…

python 每日一练(11) 回文数

回文数是指正序(从左到右)和倒叙(从右到左)都是一样的整数。列如,1223是回文,而1222不是回文。 解法一: 通过逆转字符进行比较 首先考虑临界问题,提高判断效率。 如果x是一个负数…

Django 学习 笔记

Django 一、模型models 继承django.db.models.Model 1.模型字段 / 模型字段选项参考: 官网:https://docs.djangoproject.com/zh-hans/3.2/ref/models/fields/#common-model-field-options 2.模型Meta选项(定义模型类的属性): csdn: https:/…

计算机服务器中了mkp勒索病毒怎么办,mkp勒索病毒解密数据恢复流程

网络技术的不断应用与发展,为企业的生产运营带来了极大便利,越来越多的企业依赖网络开展各项工作业务,网络也大大提升了企业的生产运营效率,但网络是一把双刃剑,在为企业提供便利的同时,也为企业的数据安全…

python学习笔记----python基础语法(二)

一、字面量 在 Python 中,字面量 是一种直接在代码中表示其自身值的数据。字面量用于创建值,并且可以直接被 Python 的解释器识别和处理。不同类型的数据有不同的字面量形式。下面是一些常见的字面量类型: 二、注释 注释:在程序…