Kafka 到 Kafka 数据同步

ops/2024/11/18 15:29:00/

简述

Kafka 为处理实时数据提供了一个统一、高吞吐、低延迟的平台,其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。因此实现 Kafka 到 Kafka 的数据同步也成了一项重要工作。

本篇文章主要介绍如何使用 CloudCanal 构建一条 Kafka 到 Kafka 的数据同步链路。

技术点

消费者消息推送

在任务创建后,CloudCanal 会自动创建消费组,并订阅需要同步消息的 Topic。CloudCanal 从源端拉取到消息后,会将消息推送到目标端。

心跳机制

Kafka 在记录消费者的位点时只会保存最新一条消息的时间,在源端 Kafka 未发送消息时,CloudCanal 便无法正常感知消息的延时时间。

我们采用了主动发送心跳消息的方式解决这个问题,在 打开 Kafka 源端心跳 后,源端会定时向目标端发送一条空消息,在目标端接收到消息后,CloudCanal 会更新延时时间,并过滤掉该条消息。根据业务需要,可设置 dbHeartbeatIntervalSec 参数,控制发送消息的间隔。

操作示例

步骤1: 配置 Kafka 权限

参考 Kafka 需要的权限 文档,设置 CloudCanal 需要的账号权限。

步骤2: 安装 CloudCanal

请参考 全新安装(Docker Linux/MacOS),下载安装 CloudCanal 私有部署版本。

步骤 3: 添加数据源

登录 CloudCanal 控制台,点击 数据源管理 > 新增数据源

步骤4: 创建任务

  1. 点击 同步任务 > 创建任务

  2. 选择源和目标数据源,并分别点击 测试连接

  3. 选择同步的 消息格式。倘若没有特定的消息格式,请选择 原始消息格式

  4. 选择 增量同步

  5. 选择需要同步的 Topic。

  6. 点击 确认创建

    任务创建过程将会进行一系列操作,点击 同步设置 > 异步任务,找到任务的创建记录并点击 详情 即可查看。

    Kafka 源端的任务创建会有以下几个步骤:

    • 结构迁移
    • 分配任务执行机器
    • 创建任务状态机
    • 完成任务创建
  7. 等待任务自动流转。

    当任务创建完成,CloudCanal 会自动进行任务流转,其中的步骤包括:

    • 结构迁移: Kafka 源端会自动为对端创建 Topic,如果目标 Topic 在对端已存在,则会忽略。
    • 增量数据同步: 增量数据将会持续地同步到对端数据库,并且保持实时(秒级别延迟)。

总结

本文简单介绍了如何使用 CloudCanal 进行 Kakfa 到 Kafka 数据同步,助力企业快速构建数据管道,增强数据分析能力。


http://www.ppmy.cn/ops/134734.html

相关文章

网络IP地址会经常换吗?深入解析与实操指南

在互联网的生态系统中,IP地址(Internet Protocol Address)是每台连接设备的唯一标识符,它在网络通信中起着至关重要的作用。然而,不少用户观察到自己的IP地址有时会发生变化,这引发了诸多疑问。本文旨在详细…

Spring Boot框架:网上商城开发新选择

2 相关技术 2.1 SpringBoot框架介绍 Spring Boot是一种不需要代码生成的一种框架,并且可以不需要配置任何的XML文件就可以,因为Spring Boot里面自带了很多接口,只需要配置不同的接口就会自动的应用并且识别需要的依赖,在配置方面非…

【数据分享】中国食品工业年鉴(1984-2023) PDF

数据介绍 一、《中国食品工业年鉴》(以下简称《年鉴》)是一部全面反映上一年度全国食品工业发展情况纪年性、资料性、权威大型年刊。《年鉴(2023)》系统收录了全国食品行业各专业和 31个省(自治区、直辖市)2022年食品工业经济运行情况的综述,《年鉴》是由中国食品工…

Golang defer关键字

defer特性 1.关键字defer 用于注册延迟调用 2.这些调用直到return 前才被执行。因此,可以用来做资源清理 3.多个defer语句,按先进后出的方式执行 4.defer语句中的变量,在defer生命时就决定了 defer用途 1.关闭文件句柄 2.锁资源释放 …

《C陷阱与缺陷》

文章目录 1、【词法陷阱】1.1 符号与组成符号间的关系1.1 与 1.3 y x/*p 与 y x/(*p),a-1 与 a - 1 与 a -1, 老版本编译器的处理是不同的,严格的ANSI C则会报错1.4 十进制的 076,会被处理为八进制,ANSI C禁止这种用法&#x…

【Go】-bufio库解读

目录 Reader和Writer接口 bufio.Reader/Writer 小结 其他函数-Peek、fill Reader小结 Writer Scanner结构体 缓冲区对于网络数据读写的重要性 Reader和Writer接口 在net/http包生成的Conn 接口的实例中有两个方法叫做Read和Write接口 type Conn interface {Read(b []b…

AI 产品的四层架构:开启智能未来的密码

在人工智能飞速发展的今天,AI产品正逐渐渗透到我们生活的方方面面,从智能助手到自动驾驶,AI的应用正不断拓宽我们的想象边界。但构建一个成功的AI产品并非易事,它需要深入理解AI产品的架构和开发流程。 AI对我们来说已经不算是新鲜…

高效协作:前后端合作规范与应对策略优化

1 背景 在软件开发领域,前后端协作的紧密程度对项目进度与质量具有决定性影响。然而,实践中常出现前端找不到后端接口、调试效率低下、后端依赖前端反馈修正问题以及职责界限模糊等问题,这些问题严重阻碍了开发效率与产品稳定性。因此&#…