如何进行数据库的迁移与同步——【DBA 从入门到实践】第四期

news/2024/10/20 5:27:01/

在日常的数据库运维工作中,我们时常会面临数据库替换、机房搬迁、业务测试以及数据库升级等任务,这些任务都需要对数据进行迁移和同步操作。【DBA 从入门到实践】第4期,将引导大家深入了解数据库迁移的流程,并探讨在迁移过程中可用的各种工具,以及在不同场景下如何选择最合适的工具,并分享如何更有效地使用这些工具。

本期教程我们将了解到:

  • 社区版 OceanBase MySQL模式与 MySQL 数据库的兼容性差别;
  • 如何使用 SQL 命令导数;
  • 如何使用OceanBase迁移生态组件
    • OMS 进行数据的迁移同步和性能调优;
    • OBLogProxy 的 binlog 模式和 CDC 模式如何使用;
    • OBDUMPER/OBLOADER 使用方法;
  • 其他生态工具 DataX、Flink CDC、Canal、SeaTunnal使用和对比。

点击下方链接预约4月24日教程直播~

【DBA 从入门到实践】第四期

内容抢“鲜”知

(一)OceanBase 社区版 MySQL 模式与 MySQL 兼容性比对

OceanBase 数据库的 MySQL 模式兼容 MySQL 5.7/8.0 的绝大部分功能和语法,由于产品架构不同或功能需求度不高,有些功能并没有被支持。本期教程从数据类型、字符串、过程性语言、系统视图、字符集、字符序、索引、SQL_MODE、分区支持、备份恢复等方面,介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的不同,防止后续从 MySQL 迁移到 OceanBase,出现一些不必要的错误。

(二)使用 SQL 命令导数

常见且简便的数据迁移方式是SQL命令,数据导出到外部文件,可使用select into outfile的方式;数据从外部文件导入,可使用 load data 或者 source的方式,另外表与表之间的数据迁移,也可以使用 insert into 或者 merge into的方式。本期教程分别介绍使用这三种方式时的参数命令如何指定,并详细介绍特殊参数,通过简单的示例帮助大家在一些简单场景下快速做数据的导入和导出。

(三)使用OceanBase迁移生态组件

虽然集群内部、表与表之间数据归档、磁盘水位均衡、资源单元unit搬迁等操作在 OceanBase 数据库中可以通过简单命令快速发起,但是涉及异构数据源和集群间的数据同步等功能时就需要借助生态组件。

OceanBase 迁移服务(OceanBase Migration Service,OMS)社区版是 OceanBase 提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务,具备在线迁移存量数据和实时同步增量数据的能力。全方位了解 OMS有助于在后续配置 OMS 迁移同步任务和故障排查中更顺畅地使用。本教程除介绍 OMS 部署前的准备、资源配置要求、部署模式、参数详情外,还将以从 MySQL 数据库迁移到 OceanBase 数据库为例,介绍配置数据迁移任务的方法,以及配置完成后的任务管理、性能调优。

在使用 OceanBase 后,还想将所有变更数据同步到下游大数据平台,就需要用到OBLogProxy。OBLogProxy 是 OceanBase 的增量日志代理服务,它可以与 OceanBase 建立连接并进行增量日志读取,为下游服务提供了变更数据捕获(CDC)的能力。OBLogProxy 有 2 种模式,分别是 Binlog 模式和 CDC 模式。通过学 OBLogProxy 的使用方式、将增量数据转换成 binlog,以及参数的配置,大家基本就可以掌握使用OBLogProxy同步增量数据到其他 CDC 生态工具或者 binlog 生态工具。

除了使用 OMS 和 OBLogProxy 进行数据的迁移同步和增量获取,官方还提供了命令行的数据导入导出工具 OBDUMPER和OBLOADER,通过命令行将数据库表数据和存储上的数据文件以及表定义文件进行互相导入导出。本期教程介绍如何安装使用 OBDUMPER/OBLOADER、如何通过控制文件在导入导出时处理数据,以及在导入导出过程中遇到性能问题时的调优方式,

(四)开源工具介绍和对比

目前OceanBase也支持很多第三方工具,如开源的Flink CDC、DataX、Canal等。这些工具的功能都略有不同,因此适用场景也不太一样,本期教程将详细介绍这些工具的适用场景、使用方法、功能对比等,方便大家后期在做数据迁移同步时,选择合适的工具。

迁移方案结构迁移全量数据迁移增量数据迁移数据校验支持的数据源
OMS支持支持支持支持OceanBase、MySQL、MariaDB、PostgreSQL、GreenPlum、Hbase、TiDB、Kafka、RocketMQ
OBLogProxy支持不支持支持不支持OceanBase、MySQL Binlog生态工具、CDC生态工具、OBLogClient
OBLOADER & OBDUMPER支持支持不支持不支持OceanBase
SQL 命令迁移支持支持不支持不支持主流数据库、SQL文本、CSV文件等
DataX不支持支持不支持不支持较多,具体范围查看官方文档
Canal支持支持支持不支持较多,具体范围查看官方文档
Flink cdc支持支持支持不支持较多,具体范围查看官方文档
SeaTunnel支持支持支持不支持较多,具体范围查看官方文档

更多精彩内容请锁定4月24日《DBA从入门到实践》第四期~


http://www.ppmy.cn/news/1427519.html

相关文章

【1425】java 外籍人员管理系统Myeclipse开发mysql数据库web结构jsp编程servlet计算机网页项目

一、源码特点 java 外籍人员管理系统是一套完善的java web信息管理系统 采用serlvetdaobean,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库,系统主要采用B/S模式 开发。开发环境为TOMCAT7.0,Myeclipse8.5开发&#xff…

3DGS渐进式渲染 - 离线生成渲染视频

总览 输入:环绕Object拍摄的RGB视频 输出:自定义相机路径的渲染视频(包含渐变效果) 实现过程 首先,编译3DGS的C代码,并跑通convert.py、train.py和render.py。教程如下: github网址&#xf…

openssl3.2 - exp - 用base64后的字符串作为配置项的值

文章目录 openssl3.2 - exp - 用base64后的字符串作为配置项的值概述笔记配置项的值长度有限制 配置项的值不能是base64之后的直接值,需要处理之后才行。openssl配置项的值并不是所有可见字符都可以例子现在用的base64的类cipher_base64.hcipher_base64.cpp 现在用的…

Docker - 简介

原文地址,使用效果更佳! Docker - 简介 | CoderMast编程桅杆https://www.codermast.com/dev-tools/docker/docker-introduce.html Docker是什么? Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。 D…

静默拷贝U盘里的ppt/pptx

专门用于拷贝老师讲课的课件!!!本程序需要编译,运行后无界面,如果需要关闭的话,请从任务管理器里关闭 附上代码: import os import shutil import time import psutil# 获取本机硬盘盘符列表 …

结构体输出字符串末尾有奇怪字符

今天打开之前的陈年老题,发现一个思路全对,但是答案错误的简单结构体的题,发现这个字符串输出末尾有奇怪字符,后来经过一番搜索发现,是因为给字符串定义的时候分配的空间不够,所以多分配一些就好啦 修改后&…

【结构型模式】代理模式

一、代理模式概述 代理模式的定义-意图:给某一个对象提供一个代理或占位符,并由代理对象来控制来原对象的访问(对象结构型模式)。某个客户端不能直接操作到某个对象,但又必须和那个对象有所互动。 代理模式分析: 1.引入一个新的代…

【前端】用CSS实现div全屏铺满的方式

在网页设计和开发中,有时我们需要让一个div元素全屏铺满整个浏览器窗口,以实现更加吸引人的视觉效果或者更好地适配不同设备的屏幕大小。 最近遇到一个需求,需要将一个div自动铺满全屏,width会默认铺满,所以不用考虑&…