dm-v1.0.5使用

news/2024/11/28 5:43:11/

DM使用V1.0.5版本,线上共创建了100+的WORKER任务,给业务做各种数据同步任务,目前官方支持的几种同步方式都在线上运行,且使用超过6个月时间,挺稳定的,高峰期存在一定延期及其他。

使用过程需要注意的有:
    1、源端表存在大小写问题,到TIDB默认变小写,需要在TASK增加参数
设置大小写敏感:case-sensitive:true
    2、源端MySQL大事务,代码归档不能超过4G,若超了…
停止task,手动把BINLOG移动到relay_log目录里
    3、提高DM对下游写入能力,优化sync参数,可根据配置酌情调整
#备份、导入、同步

      

4、增加连接心跳检查参数,账号需要有DDL权限
           enable-heartbeat: false
       5、业务库通过最好是要有一定的规则,在分库分表合并比较好处理,如库名db_xxx_0xo....db_xxx_0ox 表名类似
             目前遇到匹配规则有些情况下不是很满足,通过业务改造规范处理
       6、目标端记录的dm_meta信息非常重要,不要轻易处理
            如果想把任务重新搞,不改taskname名字,可以删除同步表数据、或DROP
       7、DM写入慢,目前遇到处理办法
            1、查看TIKV 是否IOUNTIL比较高,可能磁盘IO性能不行,换盘
            2、分库分表多实例下,多个DM 使用一个TIDB,也会引起慢,资源充足下可以为每个TASK配置一个TIDB-SERVER
            3、调整syncers的参数
            4、根据实际情况优化同步业务表(分表合并方案,官方对于写入热点建议有参数设置)
       8、任务名称规则,不能带有点号格式
       9、增量同步数据需要注意:
           1、update  db_meta.xx  is_global=1修改名字
           2、修改task里的位置点
           3、relay_log里的信息
       10、使用GTID同步BINLOG 可能会遇到,这样问题

            
            改成pos同步即可恢复
       11、分库分表合并,DM默认使用悲观锁,会引起同步延迟,在4096个表批量刷DDL 延迟在一个小时左右
           官方有可改成乐观模式,没验证过,不知道会不会对数据准确性产生问题
      12、DM同步也支持有损修改,算是TIDB特性 

      13、记得加监控,有延迟及时告警,能够及时处理
           目前处理:上游同步BINLOG个数减去已经消费的个数>1做提示

       

 14、做好各种异常冲突告警(数据冲突等)

 

15、DM切换源端同步点,主要修改is_global=1,delete掉is_global=0

        在分库分表合并中,遇到不清理会遇到同步状态没问题,数据实际没同步问题

 16、目前DM完成的管理,可以配置管理、WOKRER控制、TASK控制,部分功能还在改进

    

17、使用过程中DM 为什么能够保证数据一致性,比有些CDC牛逼,这方面的原理还是要学习

     要是能够根据数据值进行CDC 这个就更加完美,目前只能根据事件

18、为什么不用新版本

       看选择,目前这个还是比较稳定,有些业务已经使用了2年多了,挺稳的


http://www.ppmy.cn/news/155731.html

相关文章

DM8的安装

1.dm8安装 1).通过xftp 把dm8的包放到linux系统下面 2).挂在到mnt文件夹下面 mount /opt/dm8_20210818_x86_rh6_64_ent_8.4.2.18_pack14.iso /mnt 3).创建用户和用户组 groupadd dinstall ---用户组 useradd -g dinstall dmdba ----用户 …

DM到DM的DMHS同步

目录 1 DM源端 1.1 数据库环境准备 1.1.1 开归档和逻辑日志 1.1.2 配置归档 1.1.3 验证配置正确性 1.2 DMHS环境 1.2.1 DMHS安装 1.2.2 DDL同步 1.2.3 配置dmhs.hs 2 目的端 2.1 数据库环境准备 2.1.1 开归档和逻辑日志 2.1.2 配置归档 …

DM8-disql

文章目录 1. 功能介绍2. 启动disql2.1 Windows启动2.1.1 程序菜单启动2.1.2 自带disql启动2.1.3 命令行启动 2.2 Linux启动2.3 disql参数2.3.1 使用disql执行脚本2.3.2 执行SQL语句2.3.3 执行SET语句 3. 密码中存在特殊符号的书写规范3.1 不同的操作系统3.1.1 Windows系统3.1.2…

DMA 讲解

DMA 全称Direct Memory Access,即直接存储器访问。 DMA传输将数据从一个地址止空问复制到6个地经间当CPU书始化这个传输动作,传输动作本身是由DMA控制器来实现和完成的。 DMA传输方式无需CPU直接控制传输,也没有中断处理方式那样保留现场和恢复现场过程,通过硬件为RAM和IO设备…

车载通信——J1939故障码

一、诊断 UDS是统一诊断系统 冻结帧:出现故障码时,ECU存储故障码出现时的数据,就是冻结帧。 二、J1939故障诊断 SAE J1939应用层定义了12种诊断报文(Diagnostic Message,DM)、诊断故障码(DTC&#xff0…

DM7达梦-1

DM7 第一章 DM7 sql语句使用 文章目录 DM7前言一、建模式二、建表三、增增加外键增加列 四、改五、删删除列 六、查查看TEACHER下所有数据查看模式下所有表名查询所有用户下所有表一些常用简单查询 总结 前言 国产数据库更安全。本章语法类似MySQL语法会的不用看。 一、建模式…

DM8安装及介绍

一、达梦数据库解释 数据库 达梦数据库管理系统( 以下简称 DM )是基于客户/服务器方式的数据库管理系统,当同时出现 DM 数据库和实例时,DM 数据库指的是DM 数据库中的所有数据存放在磁盘上的文件的集合,一般包括:数据…

DMA介绍

文章目录 一 DMA简介二 DMA有什么用三 数据从什么地方送到什么地方?四 DMA可以传递多少数据?五 外设的DMA请求映像 一 DMA简介 DMA全称Direct Memory Access, 直译为“直接存储器访问”。 DMA的作用是帮助CPU在内存之间搬运数据,搬运的过程中无需CPU的…