DBSyncer开源数据同步中间件

news/2025/1/24 17:37:48/

一、简介

DBSyncer(英[dbsɪŋkɜː(r)],美[dbsɪŋkɜː(r) 简称dbs)是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

二、安装

临时启动

docker run -d --name dbsyncer -p 18686:18686 crazylife/dbsyncer-web:latest

拷贝数据

mkdir -p /data/dbsyncer

docker cp dbsyncer:/app /data/dbsyncer/

设置文件权限

chmod 777 -R /data/dbsyncer

正式启动

docker run -d \
--name dbsyncer \
-p 18686:18686 \
-e TZ=Asia/Shanghai \
-v /data/dbsyncer/app:/app \
crazylife/dbsyncer-web:latest

三、配置mysql表实时同步

访问web页面

http://192.168.10.13:18686

默认用户名密码,都是admin

登录之后,效果如下:

接下来,要实现,将mid_test库下的表players,同步到dms_test库下的表players2

点击添加链接

选择类型为:MySQL

名称:dev-dms-mid_test

账号:root

密码:***

URL:这里要注意修改为mysql地址,以及数据库名

最后点击保存

 然后再添加驱动dev-dms-dms_test

点击添加驱动

数据源,选择:dev-dms-mid_test

目标源,选择:dev-dms-dms_test

名称:test1

点击上面的保存

点击增量同步,注意:全量同步,是一次性任务,因此后续的表修改不会同步,所以这里必须选增量同步。

数据源表,选择players

目标源表,选择players2

点击添加

 

高级设置,保持默认即可,点击保存按钮

点击齿轮图标

点击运行

这里会出现运行中,总数会显示,这个数字会动态显示,挺不错的。

四、测试数据写入

使用python脚本,直接写入1万条数据

import pymysql# 替换为您的数据库信息
connection = pymysql.connect(host='mysql-xxx.mysql.database.aliyun.com',port=3306,user='root',password='***',database='mid_test',charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)try:with connection.cursor() as cursor:for i in range(0,10000):# SQL 插入语句sql = """insert into players (player_id,team_id,player_name,height) values (200%s,200%s,'韦德%s','1%s');"""%(i,i,i,i)print(sql)cursor.execute(sql)# 提交事务connection.commit()# print(connection.__dict__)
except pymysql.MySQLError as e:print(e)
finally:connection.close()

执行脚本,效果如下:

上面的也会动态显示数字,同步1万条

注意:增量同步,支持表数据的增删改查,但是不支持DDL语句,比如:修改表结构,添加索引,截断表等操作。


http://www.ppmy.cn/news/1565834.html

相关文章

【MySQL】 常见数据类型

MySQL常见数据类型 1.整数类型2.浮点数类型3.定点数类型4.bit类型5.字符串类型 5.1char和varchar类型5.2日期类型和时间类型5.3enum和set类型 1.整数类型 整数类型默认都是有符号整数 类型名称 字节数 类型说明 tinyint 1 带符号的范围-128127,无符号范围…

第三章 C 开头的术语

文章目录 第三章 C 开头的术语以 C 开头的术语CLASSPATH计算属性 (calculated property)调用方法 (call method)Callin 接口 (callin interface)回调方法 (callback method)标准形式 (canonical form)级联点语法 (cascading dot syntax)字符集 (character set)字符流 (characte…

MarsCode青训营打卡Day10(2025年1月23日)|稀土掘金-147.寻找独一无二的糖葫芦串、119.游戏队友搜索

资源引用: 147.寻找独一无二的糖葫芦串 119.游戏队友搜索 今日小记: 回乡聚会陪家人,休息一天~ 稀土掘金-147.寻找独一无二的糖葫芦串(147.寻找独一无二的糖葫芦串) 题目分析: 给定n个长度为m的字符串表…

OpenCV边沿检测(Python版)

边缘检测是图像处理中的一项重要任务,用于找到图像中的边界或边缘。它在计算机视觉、图像处理和模式识别等领域中具有广泛的应用。 边缘可以被定义为图像亮度、颜色或纹理的突变区域。边缘检测算法旨在识别这些变化并将其标记为边缘。边缘检测可以用于分割图像、检测…

Android系统开发(十九):无缝拉伸的艺术——9-Patch 可绘制对象详解

引言 在移动开发中,背景、标题以及其他界面元素的设计质量直接影响用户体验。然而,如何让图片适应不同分辨率设备,成为开发者常常头疼的问题。这时,9-Patch 闪亮登场!它不仅可以无缝拉伸,还能保持视觉效果…

linux系统下的磁盘扩容

背景:之前通过虚拟机装linux时硬盘空间设置的不够用,所以需要再加点容量。 1、首先通过虚拟机来扩展硬盘 注意:需要关闭linux系统;需要删除之前的快照; 我原来为27G,现在增加到了40G,如下图: …

SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用

SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用 文章目录 SpringBoot实现定时任务,使用自带的定时任务以及调度框架quartz的配置使用一. 使用SpringBoot自带的定时任务(适用于小型应用)二. 使用调度框架…

网络安全大模型和人工智能场景及应用理解

本文通过通俗易懂的方式的进行阐述,大家读完觉得有帮助记得及时关注和点赞!!! 一、网络安全大模型的概述 网络安全大模型是一种用于识别和应对各种网络安全威胁的模型。它通过分析网络数据包、网络行为等信息,识别潜在…