数据同步策略概览

ops/2024/9/23 5:15:18/

数据同步在业务开发中比较普遍,例如 订阅MySQL的binlog将数据同步至异构数据库。数据同步方案需要考虑一下几点:

  • 数据实时性要求
  • 数据量级
  • 是否有数据转换逻辑

可分为两种模式

  • 发布订阅模式:分为订阅数据库log还是订阅应用层发的消息
  • 点对点模式:分为推和拉

以下讨论几种比较通用的方法:

  1. 日志订阅:订阅数据生产方库表日志,如mysql的binlog
  2. 双写:数据生产方应用层双写,直接写入数据消费方或写入mq
  3. 定时批量select:基于updateTime等字段定时批量推送/拉取数据

同时,数据同步会存在以下几个普遍问题:

  1. 延迟
  2. 写放大

日志订阅

订阅db的日志,如mysql的binlog,进行数据同步,其他的异构数据源均以db数据作为 source-of-truth。

该方法实现了应用层的解耦,但系统复杂度增加。

MySQL 主从同步

主从同步Chapter 19 Replication

同步进度跟踪方式分为:

  • binary log based replication
  • global transaction identifiers (GTIDs) based replication

同步ack策略分为:

  • one way (asynchronous) replication
  • semi-synchronous replication
  • delayed replication

同步数据格式:

  • Statement Based Replication (SBR)
  • Row Based Replication (RBR)
  • Mixed Based Replication (MBR)

主从同步同步数据格式一般为Row Based,同步ack策略根据从库读写要求,一般主库备库设为semi-sync方式,其他RO库、大数据抽数库设为one way sync。

日志订阅中间件

databus, flink cdc, canal

数据同步工具之FlinkCDC/Canal/Debezium对比

双写

在应用层执行数据落库之后可以进行数据同步操作,比如直接调数据接口、发mq消息。
该方法实现简单、灵活性高, 但数据不一致的风险增加,需要配合巡检任务等兜底校验来减小不一致对业务的影响。

消息订阅

rocketMQ kafka …

本地消息表

基于本地消息表确保业务数据落库和消息发送的原子性,开源组件可参考spring-tx-message

Spring Event扩展点

基于Spring Event实现双写

参考:SpringEvent扩展性利器

MyBatis 拦截器

基于 MyBatis Interceptor实现双写

参考:Mybatis plugins

定时批量select

数据消费方可以定时拉取数据生产方的数据,批量导入消费方的本地库。

该方法同样可以自定义条件拉取数据并做逻辑转换,相当于定时ETL。

定时任务

Xxl-Job ElasticJob

任务执行需要保证幂等

批量

Spring Batch

同步延迟

同步延迟无法避免,在使用同步时需要考虑场景,强一致要求的场景还是得读数据源头。

此外,可以通过一些妥协避免延迟带来的业务影响,比如:前端调写库接口,写库后需要将数据同步到ES,ES本身也是准实时的(写入后1s内能查到),如果前端写完返回成功直接读后台接口,后台接口在ES查不到数据,就很奇怪。这时可以在前端写完后转圈圈1~2s,用户体验不会差,同时极大程度减小同步延迟带来的影响。

写放大

微批处理,根据业务主键只写最新数据


http://www.ppmy.cn/ops/87471.html

相关文章

无涯问知AI PC版发布,星环科技开启个人大模型应用新篇章

5月30-31日,2024向星力未来数据技术峰会期间,星环科技推出无涯问知AI PC版,这是一款专为个人用户设计的大模型应用产品,标志着个人智能应用时代的全面展开。 无涯问知AI PC版基于星环科技先进的大模型技术,可以在配备英…

leafletjs-gis中如何判断图层或元素是点,线,面的类型

查找地图上的图层,要素: window.MapLeaflet.eachLayer(function (layer) {if (layer ! window.MapLeaflet) {console.log("layer instanceof L.Polyline", layer instanceof L.Polyline)// L.Marker,L.Polyline, L.Polygon||L.Rectangle,L.C…

5年经验的软件测试人员,碰到这样的面试题居然会心虚......

我们这边最近的面试机会比较多,但是根据他们的反馈,结束后大部分都没音信了,因为现在企业面试问的非常多,范围非常广,而且开放性的问题很多,很多人即便面试前刷了成百上千道面试题,也很难碰到一…

Java中的数据加密与解密技术

Java中的数据加密与解密技术 大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!今天我们来探讨Java中的数据加密与解密技术。 一、数据加密与解密的基本概念 数据加密与解密是保护敏感信息的重要手段&…

LInux:循环语句

LInux:循环语句 if-else语句 if 语句语法格式 if [ $a -gt $b ]; then echo "a>b" fiif [ $a -gt $b ]; then echo "a>b"echo "a!b"echo "true" fiif-else语句 if-else 语句语法格式 if [ $a -gt $b ]; then echo &q…

打开一个word文件

CoInitialize(NULL);//初始化COM,与最后一行CoUninitialize对应//CPageSetup pagesetupdoc.get_PageSetup();//页面设置相关,没用到//CApplication app;if (!m_app.CreateDispatch(_T("word.application"))) //启动WORD{MessageBox(NULL, L&qu…

Windows下nmap命令及Zenmap工具的使用方法

一、Nmap简介 nmap是一个网络连接端扫描软件,用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端,并且推断计算机运行哪个操作系统(这是亦称 fingerprinting)。它是网络管理员必用的软件之一,以及用以评…

Flink-StarRocks详解:第三部分StarRocks分区分桶(第53天)

文章目录 前言2.3 数据分布2.3.1 数据分布概览2.3.1.1 常见的数据分布方式2.3.1.2 StarRocks的数据分布方式2.3.1.3 分区2.3.1.4 分桶 2.3.2 创建分区2.3.2.1 表达式分区2.3.2.1.1 时间函数表达式分区(自v3.1)2.3.2.1.2 列表达式分区(自v3.1&…