用OMS进行 OceanBase 租户间数据迁移的测评

devtools/2024/11/16 11:21:26/

基本概念

OceanBase迁移服务（oceanbase.com/product/oms" rel="nofollow" title="OceanBase Migration Service">，简称OMS），可以让用户在同构或异构 RDBMS 与OceanBase 数据库之间进行数据交互，支持数据的在线迁移，以及实时增量同步的复制功能。

OMS 提供了可视化的集中管控平台，通过简单的配置用户即可完成数据的实时迁移，且对源数据库和业务系统的影响开销可忽略不计。OMS 旨在帮助用户以最低的风险、极小的开销和最高的效率实现同构/异构数据库向 OceanBase 数据库进行实时数据迁移和数据同步。OMS 社区版支持数据迁移功能，您可以通过该功能实时进行 MySQL 数据库与 OceanBase 社区版之间的数据迁移，以及 OceanBase 社区版与 OceanBase 社区版之间的数据迁移。

同时，通过 OMS 用户可以在不停服的情况下无缝将数据迁移到 OceanBase 数据库上。在业务应用切换数据库到 OceanBase 数据库前，OMS 可以启用反向数据同步链路，再执行应用切换到 OceanBase 数据库，重新建立主备关系，此时所有在切换后发生在 OceanBase 数据库上的数据变更都将实时同步至切换前的源端数据库，以此来应对紧急回切的需求场景，最大程度的降低业务迁移风险，助力企业用户构建高可用和高可靠的数据体系架构。

测试目的

本节主要测试 OceanBase 数据库不同租户之间的数据同步。当迁移的源端数据库为 OceanBase 时，会通过 OCP 获取相关信息，所以需要关联 OCP。OMS 社区版会通过 JDBC 直连 OCP 的元信息库，来查询数据迁移流程中需要使用的信息，然后发送数据给目标端 OceanBase 租户。该方法同样也适用于 MySQL 与 OceanBase 以及 OceanBase 与 OceanBase 之间的数据同步。

前提条件

1、 已部署 OCP 社区版 3.3.0，详细操作请参见 OCP 部署指南。

2、 已部署 OMS 社区版 3.3.0，详细操作请参见 OMS 部署指南。

3、部署待迁移的 OceanBase 集群（含 OBProxy），必须使用 OCP 接管或创建。详细操作请参见 创建集群 和 使用 OCP 接管 OBD 部署的集群。

数据同步测试

环境准备

1、登录 OCP，使用 OCP 为待迁移的集群创建租户、数据库及迁移所用的用户。具体操作请参见：管理租户。

租户数据库用户备注
test1test_oms_1oms源端1
test2test_oms_2oms源端2
test3test_oms_3oms目标端

2、登录 OMS 社区版控制台。

3、关联 OCP。

当 OMS 社区版的运行涉及 OceanBase 数据源时，会通过 OCP 获取相关信息，所以需要关联 OCP。具体操作请参见 关联 OCP。添加完成后，可在关联 OCP 页面中看到已关联的 OCP。

1679474663

4、添加 OceanBase 社区版数据源（源端和目标端），具体操作请参见 添加 OceanBase-CE 数据源，添加完成后可在数据源管理中看到已添加的数据源列表。

1679474683

测试一：

测试目的：测试能否正常将租户 test1 表 t1 的数据和租户 test2 表 t2 的数据，分别迁移至租户 test3 的表 t1 和 表 t2 中。

测试步骤：

  • 全量迁移：在 OMS 社区版中创建两个迁移项目，将源端租户 test1 和租户 test2 的全量数据迁移至目标端租户 test3 中。
  • 增量同步：在源端租户 test1 的表 t1 和租户 test2 的表 t2 中进行 insert、delete、update，查看目标端租户 test3 的表 t1 和 表 t2 数据的变化。
  • 反向增量同步：正常增量同步完成后，开启租户 test3 到 租户 test1 的反向增量同步。在目标端租户 test3 的表 t1 中进行 insert、delete、update，查看源端租户 test1 的表 t1 数据的变化。
租户数据库用户表备注
test1test_oms_1omst1源端1
test2test_oms_2omst2源端2
test3test_oms_3omst1，t2目标端

1、在客户端使用 oms 用户分别登录租户 test1 和 test2，创建表 t1 和 t2。

obclient -hxxx.xxx.xxx.xxx -P2883 -uoms@test1#testoms -pXXX -A test_oms_1CREATE TABLE `t1` (
`id` int NOT NULL,
`name` varchar(45) DEFAULT NULL,
`remark` varchar(45) DEFAULT NULL,
PRIMARY KEY (`id`)
) CHARSET=utf8mb4;MySQL [test_oms_1]> insert into t1(id,name,remark) values(10,'aa','test10');
MySQL [test_oms_1]> insert into t1(id,name,remark) values(11,'bb','test11');
MySQL [test_oms_1]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
+----+------+--------+
2 rows in set (0.002 sec)

obclient -hxxx.xxx.xxx.xxx -P2883 -uoms@test2#testoms -pXXX -A test_oms_2CREATE TABLE `t2` (
`id` int NOT NULL,
`name` varchar(45) DEFAULT NULL,
`remark` varchar(45) DEFAULT NULL,
PRIMARY KEY (`id`)
) CHARSET=utf8mb4;MySQL [test_oms_2]> insert into t2(id,name,remark) values(20,'aa','test20');
MySQL [test_oms_2]> insert into t2(id,name,remark) values(21,'bb','test21');
Query OK, 1 row affected (0.002 sec)MySQL [test_oms_2]> select * from t2;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 20 | aa   | test20 |
| 21 | bb   | test21 |
+----+------+--------+
2 rows in set (0.002 sec)

2、创建数据迁移项目，具体操作请参见 数据迁移。

2.1、选择源节点和目标节点，这里选择源端1和目标端，即源端租户 test1 和目标端租户 test3。

1679474699

2.2、选择要迁移的源端数据库表，单击“>”，添加至目标端对象中，默认生成与源端相同的表名，也可以进行重命名。

1679474705

2.3、启动任务之后，可以看到任务的基本信息及迁移步骤详情。

1679474717

2.4、同理继续创建第二迁移项目（源端租户 test2 和目标端租户 test3），创建完成后，可在迁移项目列表中，查看添加的项目。

1679474726

3、验证迁移结果

3.1、全量迁移验证

登录目标端租户 test3 ，查看全量迁移的结果。可以看到 test1 租户的表 t1，和 test2 租户表 t2 已经迁移成功。 

[admin@126 ~]$obclient -hxxx.xxx.xxx.xxx -P2883 -uoms@test3#testoms -pXXX -A test_oms_3MySQL [test_oms_3]> show tables;
+----------------------+
| Tables_in_test_oms_3 |
+----------------------+
| t1                   |
| t2                   |
+----------------------+
2 rows in set (0.001 sec)MySQL [test_oms_3]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
+----+------+--------+
2 rows in set (0.001 sec)MySQL [test_oms_3]> select * from t2;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 20 | aa   | test20 |
| 21 | bb   | test21 |
+----+------+--------+
2 rows in set (0.001 sec)

3.2、增量同步验证

  • 分别在源端租户 test1 的表 t1 和租户 test2 的表 t2 中插入一条数据，在目标端租户 test3 中，查看数据同步的结果。可以看到新插入的数据已被同步过来。
MySQL [test_oms_1]> insert into t1(id,name,remark) values(12,'cc','test12');
MySQL [test_oms_2]> insert into t2(id,name,remark) values(22,'cc','test22');MySQL [test_oms_3]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
| 12 | cc   | test12 |
+----+------+--------+
3 rows in set (0.000 sec)MySQL [test_oms_3]> select * from t2;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 20 | aa   | test20 |
| 21 | bb   | test21 |
| 22 | cc   | test22 |
+----+------+--------+
3 rows in set (0.001 sec)MySQL [test_oms_3]>

  • 在源端租户 test1 的表 t1 中修改一条数据，在目标端租户 test3 中，查看数据同步的结果。可以看到修改的数据已被同步过来。

MySQL [test_oms_1]> update t1 set name = 'dd' where id = 12;MySQL [test_oms_3]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
| 12 | dd   | test12 |
+----+------+--------+
3 rows in set (0.000 sec)

  • 在源端租户 test2 的表 t2 中删除一条数据，在目标端租户 test3 中，查看数据同步的结果，可以看到 id =20的数据被删除。

MySQL [test_oms_2]> delete from t2 where id = 20;MySQL [test_oms_3]> select * from t2;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 21 | bb   | test21 |
| 22 | cc   | test22 |
+----+------+--------+
2 rows in set (0.000 sec)

3.3、反向增量验证

以租户 test3 反向增量迁移至租户 test1 为例，进行反向增量同步前，请确认正向增量同步已完成，

全量校验完成后，单击【进入下一阶段】，进行正向切换。

注意：启动正向切换前，请确保源端数据源为即将停写或者已经停写状态。

1679474742

1679474753

反向增量任务启动成功后，在目标端租户 test3 的表 t3 中插入一条数据，在源端租户 test1 中，查看数据反向同步的结果。可以看到新插入的数据已被反向同步过来。

MySQL [test_oms_3]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
| 12 | dd   | test12 |
+----+------+--------+
3 rows in set (0.003 sec)MySQL [test_oms_3]> insert into t1(id,name,remark) values(14,'ee','test14');MySQL [test_oms_1]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test10 |
| 11 | bb   | test11 |
| 12 | dd   | test12 |
| 14 | ee   | test14 |
+----+------+--------+
4 rows in set (0.000 sec)

在目标端租户 test3 的表 t1 中修改一条数据，在源端租户 test1 中，查看数据同步的结果。可以看到id = 10数据已被删除。

MySQL [test_oms_3]> delete from t1 where id = 10;MySQL [test_oms_1]> select * from t1;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 11 | bb   | test11 |
| 12 | dd   | test12 |
| 14 | ee   | test14 |
+----+------+--------+
3 rows in set (0.000 sec)

测试二：

测试目的：测试能否正常将租户 test1 和租户 test2 中两张结构相同的表，迁移至租户 test3 的一张表中。

测试步骤：

  • 全量迁移：在 OMS 社区版中创建两个迁移项目，将源端租户 test1 和租户 test2 的全量数据迁移至目标端租户 test3 中。
  • 增量同步：在源端租户 test1 的表 t3 和租户 test2 的表 t3 中进行 insert、delete、update，查看目标端租户 test3 的表 t3 数据的变化。

测试结果：

同时将两个相同结构的表往另一张表汇总时，在进行全量迁移的过程中，若存在 id 相同的数据，后迁移的数据不会被同步过来，会导致后迁移的数据丢失。但是在增量同步的过程中，若插入的 id 相同，则后表插入的数据会覆盖前表插入的数据，导致前表插入的数据丢失。

租户数据库用户表备注
test1test_oms_1omst3源端1
test2test_oms_2omst3源端2
test3test_oms_3omst3目标端

1、在客户端使用 oms 用户分别登录租户 test1 和 test2，创建表 t3。

obclient -hxxx.xxx.xxx.xxx -P2883 -uoms@test1#testoms -pXXX -A test_oms_1CREATE TABLE `t3` (
`id` int NOT NULL,
`name` varchar(45) DEFAULT NULL,
`remark` varchar(45) DEFAULT NULL,
PRIMARY KEY (`id`)
) CHARSET=utf8mb4;MySQL [test_oms_1]> insert into t3(id,name,remark) values(010,'aa','r1');
MySQL [test_oms_1]> insert into t3(id,name,remark) values(011,'bb','r2');MySQL [test_oms_1]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | r1     |
| 11 | bb   | r2     |
+----+------+--------+
2 rows in set (0.002 sec)

obclient -hxxx.xxx.xxx.xxx -P2883 -uoms@test2#testoms -pXXX -A test_oms_2CREATE TABLE `t3` (
`id` int NOT NULL,
`name` varchar(45) DEFAULT NULL,
`remark` varchar(45) DEFAULT NULL,
PRIMARY KEY (`id`)
) CHARSET=utf8mb4;MySQL [test_oms_1]> insert into t3(id,name,remark) values(010,'zz','r3');
MySQL [test_oms_1]> insert into t3(id,name,remark) values(012,'yy','r4');MySQL [test_oms_2]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | zz   | r3     |
| 12 | yy   | r4     |
+----+------+--------+
2 rows in set (0.002 sec)

2、创建租户 test1 至 租户test3 的数据迁移项目，具体操作请参见 数据迁移。

3、创建租户 test2 至 租户test3 的数据迁移项目。

3.1、选择源节点和目标节点，这里选择源端2和目标端，即源端租户 test2 和目标端租户 test3。

1679474776

3.2、选择要迁移的源端数据库表，单击“>”，添加至目标端对象中，默认生成与源端相同的表名，也可以进行重命名。

1679474788

3.3、配置迁移选项，这里注意在高级配置中，允许全量迁移目标表非空，因为前面已经创建了租户 test1 表1 至 test3 表 t3 的迁移项目，项目启动后，目标表非空。

1679474810

3.4、租户 test1 表1 至 test3 表 t3 的迁移项目，已经在租户 test3 中创建了表 t3，此时不需要再创建表，因此可直接跳过结构迁移，再单击右上角的“恢复”，继续进行下一步。

1679474818

创建完成后可在迁移项目列表中，查看到已创建的迁移项目。

1679474824

4、验证迁移结果

4.1、全量迁移验证

登录目标端租户 test3 ，查看全量迁移的结果。可以看到租户 test2 中 id = 10 因为和 租户 test1 中的 id 相同，导致数据未被迁移过来。在项目详情的全量校验中也可以看到数据不一致的提示。

1679474830

MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | r1     |
| 11 | bb   | r2     |
| 12 | yy   | r4     |
+----+------+--------+
3 rows in set (0.001 sec)

3.2、增量同步验证

  • 分别在源端租户 test1 的表 t3 和租户 test2 的表 t3 中插入一条数据，在目标端租户 test3 中，查看数据同步的结果。可以看到新插入的数据已被同步过来。
MySQL [test_oms_1]> insert into t3(id,name,remark) values(013,'cc','r5');
MySQL [test_oms_2]> insert into t3(id,name,remark) values(014,'xx','r6');MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | r1     |
| 11 | bb   | r2     |
| 12 | yy   | r4     |
| 13 | cc   | r5     |
| 14 | xx   | r6     |
+----+------+--------+
5 rows in set (0.001 sec)
  • 分别在源端租户 test1 的表 t1 和租户 test2 的表 t2 中插入一条 id 相同的数据，在目标端租户 test3 中，查看数据同步的结果。可以看到当 id 相同时后插入的数据会覆盖前插入的数据。
MySQL [test_oms_1]> insert into t3(id,name,remark) values(015,'dd','r7');
MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | r1     |
| 11 | bb   | r2     |
| 12 | yy   | r4     |
| 13 | cc   | r5     |
| 14 | xx   | r6     |
| 15 | dd   | r7     |
+----+------+--------+
6 rows in set (0.001 sec)MySQL [test_oms_2]> insert into t3(id,name,remark) values(015,'ww','r8');
MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | r1     |
| 11 | bb   | r2     |
| 12 | yy   | r4     |
| 13 | cc   | r5     |
| 14 | xx   | r6     |
| 15 | ww   | r8     |
+----+------+--------+
6 rows in set (0.000 sec)
  • 在源端租户 test1 的表 t3 中修改一条数据，在目标端租户 test3 中，查看数据同步的结果。可以看到修改的数据已被同步过来。
MySQL [test_oms_1]> update t3 set remark='test1' where id = 10;
MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test1  |
| 11 | bb   | r2     |
| 12 | yy   | r4     |
| 13 | cc   | r5     |
| 14 | xx   | r6     |
| 15 | ww   | r8     |
+----+------+--------+
6 rows in set (0.001 sec)
  • 在源端租户 test2 的表 t3 中删除一条数据，在目标端租户 test3 中，查看数据同步的结果，可以看到 id = 12 的数据已被删除。
MySQL [test_oms_2]> delete from t3 where id = 12;
MySQL [test_oms_3]> select * from t3;
+----+------+--------+
| id | name | remark |
+----+------+--------+
| 10 | aa   | test1  |
| 11 | bb   | r2     |
| 13 | cc   | r5     |
| 14 | xx   | r6     |
| 15 | ww   | r8     |
+----+------+--------+
5 rows in set (0.000 sec)


http://www.ppmy.cn/devtools/134413.html

相关文章

elementUI input 禁止内容两端存在空格，或者是自动去除两端空格

elementUI input 禁止内容两端存在空格，或者是自动去除两端空格

需求 项目中有需求&#xff1a;输入框中禁止内容两端存在空格&#xff0c;或者是自动去除两端空格。 解决方法 vue的api文档中有过介绍&#xff0c;使用.trim可以去掉用户输入内容中两端的空格&#xff0c;如下图 代码 <el-input v-model.trim"name" cleara…
阅读更多...
浪浪云轻量服务器搭建vulfocus网络安全靶场

浪浪云轻量服务器搭建vulfocus网络安全靶场

什么是网络安全靶场 网络安全靶场是一个模拟真实网络环境的训练平台&#xff0c;旨在为网络安全专业人员提供一个安全的环境来测试和提高他们的技能。靶场通常包括各种网络设备、操作系统、应用程序和安全工具&#xff0c;允许用户在其中进行攻击和防御练习。以下是网络安全靶…
阅读更多...
【CUDA】Warp解析

【CUDA】Warp解析

目录 一、初步认识 二、Warps and Thread Blocks 三、Warp Divergence 四、资源分区 五、延迟隐藏 六、占有率 七、Synchronize 一、初步认识 warp 是 SM 的基本执行单元。一个 warp 包含 32 个并行 thread&#xff0c;这32个 thread 执行于 SMIT模式。即所有 thread …
阅读更多...
百度 2025届秋招提前批 文心一言大模型算法工程师

百度 2025届秋招提前批 文心一言大模型算法工程师

文章目录 个人情况一面/技术面 1h二面/技术面 1h三面/技术面 40min 个人情况 先说一下个人情况&#xff1a; 学校情况&#xff1a;211本中9硕&#xff0c;本硕学校都一般&#xff0c;本硕都是计算机科班&#xff0c;但研究方向并不是NLP&#xff0c;而是图表示学习论文情况&a…
阅读更多...
CTF练习4

CTF练习4

RSA加密 注&#xff1a;L&#xff1a;是与N互质的个数不是最小公倍数这里的最小公倍数指的是存在于N中(互质当N个整数的最大公因数是1时&#xff0c;则称这N个整数为互质&#xff09; 解密&#xff1a;因为N与E是公开的所以要解密就要求出D&#xff0c;要解出D就要求出L,要求出…
阅读更多...
kafka消费数据太慢了，给优化下

kafka消费数据太慢了，给优化下

原代码 public class KafkaConsumerDemo {public static void main(String[] args) {int numConsumers 5; // 增加消费者的数量for (int i 0; i < numConsumers; i) {new Thread(new KafkaConsumerThread()).start();}}static class KafkaConsumerThread implements Runn…
阅读更多...
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

摘要 大型预训练语言模型已经被证明可以在其参数中存储事实性知识，并在下游自然语言处理（NLP）任务中通过微调取得了最先进的效果。然而，它们访问和精准操控知识的能力仍然有限，因此在知识密集型任务上，它们的表现往往落后于专门为任务设计的架构。此外，这些模型在决策时…
阅读更多...
SpringBoot（二十二）SpringBoot集成smart-doc自动生成文档

SpringBoot（二十二）SpringBoot集成smart-doc自动生成文档

计划在项目中集成swagger日志框架，经过一顿折腾，发现一个小小的问题。我得springboot框架版本是2.6.13，swagger要匹配这个版本的springboot可能比较麻烦。 这可如何是好…… 经跟社区的大神得讨论，他在用的文档生成工具是smart-doc。我尝试一下集成这个工具。 官网：https:…
阅读更多...
最新文章

Copyright @ 2022~2023