自动同步多服务器下SQL脚本2.0

embedded/2025/3/13 12:56:15/

考虑到1.0的适用场景太过苛刻,一次只支持读取至多一个版本的脚本变化,想涉及多个脚本的连续读取就有困难,于是有了2.0。

该版本支持读取多个版本的sql脚本,并且如果某一脚本出现sql问题【如重复插入相同名称的字段】,则当前版本回滚,同时hd_version表不留痕,以便下次部署的时候可以再次插入。

2.0版本主要变动就是实现类: 

考虑到随着版本的变动,后续脚本文件维护的版本过多,不采用顺序读,改用二分查找
当然,也可以一个大版本对应一个SQL文件,也可以用倒序查找,都可以的...这里只是提供一个方案。用二分单纯看上了它的时间复杂度O(logN)。

方法讲解:

主要分为两个方法:

一个是通过二分寻找到最小【未执行过sql脚本的】版本号
一个是通过当前版本号以及sql脚本,去执行sql语句。

通过二分找到最小的版本号

/*** 二分与倒序查询的比较:* 二分可以在短的时间内,快速找到目标值,但是倒序排序,理论上还是O(N)的时间复杂度* 如果场景是,每个迭代只进行最后一至两个版本的sql脚本,那么倒序排序更好,二分的话,时间复杂度比较稳定*/@Override@Transactionalpublic void run(ApplicationArguments args) throws Exception {if (!databaseAutoFillSwitch) {log.info("database auto fill switch is false,skip auto fill");return;}String basePath = "/dbVersion/MySQL.sql";InputStream inputStream = this.getClass().getResourceAsStream(basePath);String sqlScript = IoUtil.readUtf8(inputStream);if (null == inputStream) {log.info("inputStream is null");return;}inputStream.close();List<String> versionList = new ArrayList<>();String[] lines = sqlScript.split("\n");for (String line : lines) {if (line.toLowerCase().contains(PREFIX)) {versionList.add(line.substring(line.lastIndexOf("-") + 1).trim().toLowerCase());}}int left = 0 , right = versionList.size() - 1;// 最终得到的left,表示不在库中的最小版本号,如果left == list.size() 则还需要去查询库中是否真正存在while(left <= right){int mid = left + (right- left)/2;if( 0 == hdCommonDao.selectVersion(versionList.get(mid))){// 库中无对应版本号right = mid - 1;}else{// 库中存在对应版本号left = mid + 1;}}if(left == versionList.size()){return;}String result = "";// 现在开始,从left指针开始遍历所有的sql脚本while(left < versionList.size()){// 得到版本号整串String latestVersion = versionList.get(left);// 写入数据库的版本号前缀【过滤掉无效字符,统一版本号】String version = latestVersion.substring(latestVersion.lastIndexOf("-") + 1).trim().toLowerCase();// 获取版本号在sql脚本中的位置int index = sqlScript.indexOf(latestVersion);if (index == -1) {log.info("current version exception:{}", version);LogUtil.info(version, "current version exception");return;}index += latestVersion.length();String nextVersion = "";if (left + 1 < versionList.size()) {nextVersion = versionList.get(left + 1);int nextIndex = sqlScript.indexOf(nextVersion);if (nextIndex != -1) {result = sqlScript.substring(index, nextIndex).trim();((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);} else {log.info("next version not found:{}", nextVersion);LogUtil.info(version, "next version not found");}} else {// 没有下一个版本,提取剩余部分result = sqlScript.substring(index).trim();((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);}left++;}log.info("auto deploying sql finished...");}

 写库方法

根据sql脚本以及对应的版本号完成写入功能。

    @Transactional(rollbackFor = Exception.class)public void executeSqlScript(String sqlScript, String version) throws Exception {String[] resultList = sqlScript.split(";");for (String line : resultList) {if (!line.toLowerCase().contains("drop") && !line.toLowerCase().contains("delete") && line.length() > 10 && !line.contains("--")) {// 开始执行插入操作try {hdCommonDao.updateSql(line.trim());log.info("version:{}, start sql script:{}", version, line.trim());LogUtil.info("version, sql script:", version, line.trim());} catch (Exception e) {log.info("version:{}, sql执行异常:{}", version, line.trim());LogUtil.info("sql执行异常", line.trim());throw new Exception("sql auto exception:"+ line.trim());}}}// 如果所有 SQL 语句都成功执行,插入版本记录HdVersionEntity entity = new HdVersionEntity();entity.setVersion(version);entity.setCreated(new Date());hdCommonDao.insertVersion(entity);}

细节说明

这里主要一个点,事务失效

首先,我们在方法A去调用方法B的时候,不是简单的在方法A上加@Transactional注解就可以的,需要两步:①在启动类上开启暴露代理的开关②在调用方法B的时候,改用代理对象去调用方法B【默认是this对象】

@Order(1)
@Component
@EnableAspectJAutoProxy(exposeProxy = true)
@Slf4j
public class HdSchemaExecutor implements ApplicationRunner

 注意这里需要通过代理对象调用方法B~

((HdSchemaExecutor)AopContext.currentProxy()).executeSqlScript(result, version);

如果你想在方法B完成手动throw错误,还需要在方法B上添加事务监听的范围。

@Transactional(rollbackFor = Exception.class)
public void executeSqlScript(String sqlScript, String version) throws Exception

写在最后

Mysql不支持DDL事务,只支持DML事务....


http://www.ppmy.cn/embedded/172245.html

相关文章

Rust 之一 基本环境搭建、各组件工具的文档、源码、配置

概述 Rust 是一种强调性能、类型安全和并发性的通用编程语言。它强制执行内存安全&#xff0c;使用其特有的所有权机制&#xff0c;而无需传统的垃圾收集器。Rust 不强制执行编程范式&#xff0c;但受到函数式编程思想的影响。 最初是由 Mozilla 员工 Graydon Hoare 在 2006 年…

大数据面试之路 (三) mysql

技术选型通常也是被问道的问题&#xff0c; 一方面考察候选人对技术掌握程度&#xff0c;另一方面考察对项目的理解&#xff0c;以及项目总结能力。介绍项目是从数据链路介绍&#xff0c;是一个很好来的方式&#xff0c;会让人觉得思路清晰&#xff0c;项目理解透彻。 将Spark …

k8s面试题总结(十二)

1.简述ETCD适应的场景&#xff1f; 适用于数据高一致性的场景&#xff0c;确保分布式环境中的数据是一致的。适用于服务高可用时的场景。适用于多节点数据分布式存储的场景。适用于服务之间协调和交互使用的场景。 2.Etcd集群之间是怎么同步数据的&#xff1f; 在etcd集群中…

UE5 RVT 制作场景交互 - 遮罩

RVT可以通过物体制作场景的RVT的贴图遮罩绘制 首先放一个Runtime Virtual Texture Volume在场景里面 设置一个合理的大小 创建一个RVT 这里有你想要的存储的通道和贴图精度 将才创建的RVT放到Runtime Virtual Texture Volume上去 现在放一个平面到Runtime Virtual Texture Volu…

Go语言环境搭建并执行第一个Go程序

目录 一、Windows环境搭建 二、vscode安装插件 三、运行第一个go程序 一、Windows环境搭建 下载Go&#xff1a;All releases - The Go Programming Language 这里是Windows搭建&#xff0c;选择的是windows-amd64.msi&#xff0c;也可以选择zip直接解压缩到指定目录 选择msi…

【Node.js入门笔记3---fs 文件系统模块】

Node.js入门笔记3 Node.js---fs 文件系统模块一、文件基础操作0.学习fs的前提1.fs.readFile()&#xff1a;用来读取指定文件中的内容。读取txt文件里面的内容&#xff1a;读取XLSX文件里面的内容&#xff1a; 2. fs.writeFile()&#xff1a;用来向指定的文件中写入内容&#xf…

Percona XtraBackup8.0备份实例

Percona XtraBackup8.0备份实例 ​ 此示例演示了初级 DBA 如何使用 Percona XtraBackup 8.0 和 Percona Server for MySQL 8.0 数据库服务器为大型组织设置每日完整备份和每小时增量备份。 一、实验环境 您的系统上安装了 Percona XtraBackup 8.0。您有一个正在运行的 Perco…

FPGA 定点小数计算

1. 使用FPGA实现定点小数计算 FPGA中不适合做浮点数运算,但有时又会涉及到小数的运算,这时就需要用到Q格式数据。 2. Q格式 Q:如果想要表示一个小数&#xff0c;但FPGA里没法加小数点&#xff0c;那该如何表示小数呢&#xff1f; A:可以使用定点小数&#xff01; 定点小数的小…