java-使用druid sqlparser将SQL DDL脚本转化为自定义的java对象

news/2024/12/19 0:08:46/

java-使用druid sqlparser将SQL DDL脚本转化为自定义的java对象

    • 一、引言
    • 二、环境
    • 三、待解析的DDL
    • 四、解析后的对象结构
    • 五、完整的UT类
    • 六、控制台输出
    • 总结

一、引言

在日常开发中，有些需要对SQL进行解析的场景，比如读取表结构信息，生成文档、逆向工程或是生成一些业务代码。例如，当我们需要对Oracle的DDL（数据定义语言）进行解析时，一个强大的SQL语法解析器可以帮助我们直接提取出表的结构信息，包括表名、备注、字段信息以及索引信息。这一功能在以下场景中尤为有用：

  • 代码生成：通过解析DDL，我们可以自动生成对应的实体类、数据库访问接口甚至是完整的数据库操作代码，极大地减少了手动编写重复代码的工作量，提高了开发效率。
  • 数据库逆向工程：在接手一个遗留系统或者对现有系统进行重构时，通过解析现有的DDL，可以快速地理解和重构数据库模型，为后续的开发工作打下坚实的基础。
  • 数据库文档化：自动从DDL中提取表结构信息，可以帮助我们生成数据库文档，使得数据库的设计和结构更加清晰，便于团队成员之间的沟通和协作。
  • 数据库迁移：在数据库迁移过程中，解析源数据库的DDL可以帮助我们快速地构建目标数据库的结构，减少迁移过程中的错误和风险。
    本文将记录了基于Druid SQLParser这一工具，对DDL进行解析的详细过程。

二、环境

  • JDK 17
  • Maven依赖
<dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.2.16</version>
</dependency>

三、待解析的DDL

以下内容是基于PowerDesigner做的Oracle 10g的DDL脚本，也是我们需要解析的内容，其中包含drop、create、comment等语句，这里我们只对表、字段信息进行解析。

drop index "Index_1";
drop table "sr_user_info" cascade constraints;
/*==============================================================*/
/* Table: "sr_user_info"                                        */
/*==============================================================*/
create table "sr_user_info"  ("user_id"            VARCHAR2(64)                    not null,"type"               VARCHAR2(64)                    not null,"login_name"         VARCHAR2(64),"user_name"          VARCHAR2(64),"display_name"       VARCHAR2(256),"organization"       VARCHAR2(64),"region"             VARCHAR2(64),"login_count"        INTEGER,"request_count"      bigint,"status"             INTEGER,"last_login_date"    DATE,"create_date"        DATE,"update_date"        DATE,"money"              number(9,2),constraint PK_SR_USER_INFO primary key ("user_id")
);
comment on table "sr_user_info" is '记录并统计用户行为';
comment on column "sr_user_info"."user_id" is '用户ID';
comment on column "sr_user_info"."type" is '类型';
comment on column "sr_user_info"."login_name" is '登录名';
comment on column "sr_user_info"."user_name" is '用户名';
comment on column "sr_user_info"."display_name" is '显示名称';
comment on column "sr_user_info"."organization" is '组织结构';
comment on column "sr_user_info"."region" is '区域';
comment on column "sr_user_info"."login_count" is '登录次数';
comment on column "sr_user_info"."request_count" is '请求次数';
comment on column "sr_user_info"."status" is '状态';
comment on column "sr_user_info"."last_login_date" is '最后登录时间';
comment on column "sr_user_info"."create_date" is '创建时间';
comment on column "sr_user_info"."update_date" is '修改时间';
comment on column "sr_user_info"."money" is '金钱';
/*==============================================================*/
/* Index: "Index_1"                                             */
/*==============================================================*/
create unique index "Index_1" on "sr_user_info" ("user_id" ASC,"region" ASC
);

四、解析后的对象结构

以下是DDL解析后的对象结构。

{"TableCode":"sr_user_info","comment":"记录并统计用户行为","columns":[{"colCode":"user_id","comment":"用户ID","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"type","comment":"类型","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"login_name","comment":"登录名","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"user_name","comment":"用户名","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"display_name","comment":"显示名称","length":256,"pk":false,"type":"VARCHAR2"},{"colCode":"organization","comment":"组织结构","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"region","comment":"区域","length":64,"pk":false,"type":"VARCHAR2"},{"colCode":"login_count","comment":"登录次数","pk":false,"type":"INTEGER"},{"colCode":"request_count","comment":"请求次数","pk":false,"type":"bigint"},{"colCode":"status","comment":"状态","pk":false,"type":"INTEGER"},{"colCode":"last_login_date","comment":"最后登录时间","pk":false,"type":"DATE"},{"colCode":"create_date","comment":"创建时间","pk":false,"type":"DATE"},{"colCode":"update_date","comment":"修改时间","pk":false,"type":"DATE"},{"colCode":"money","length":9,"pk":false,"precision":2,"type":"number"}]
}

五、完整的UT类

运行下面的单元测试方法ddlParserTest()可以看到完整效果。需要注意的是如果表名、字段名中有些转意字符可以用SQLUtils.normalize(tableName)方法去掉。

java">import com.alibaba.druid.DbType;
import com.alibaba.druid.sql.SQLUtils;
import com.alibaba.druid.sql.ast.SQLExpr;
import com.alibaba.druid.sql.ast.expr.SQLIntegerExpr;
import com.alibaba.druid.sql.ast.statement.SQLColumnDefinition;
import com.alibaba.druid.sql.ast.statement.SQLCommentStatement;
import com.alibaba.druid.sql.ast.statement.SQLTableElement;
import com.alibaba.druid.sql.dialect.oracle.ast.stmt.OracleCreateTableStatement;
import com.alibaba.druid.sql.dialect.oracle.ast.stmt.OraclePrimaryKey;
import com.alibaba.druid.support.json.JSONUtils;
import org.testng.annotations.BeforeTest;
import org.testng.annotations.Test;import java.util.ArrayList;
import java.util.List;
import java.util.Map;public class SqlParserTest {private String ddl = "";public static class TabInfo{public String TableCode;public String comment;public List<ColumnInfo> columns = new ArrayList<>();}public static class ColumnInfo{public String colCode;public String comment;public String type;public Integer length;public Integer precision;public boolean pk = false;}@Testpublic void ddlParserTest(){//解析DDLvar statements = SQLUtils.parseStatements(ddl,DbType.oracle);//获取索引值java.util.function.BiFunction<List<SQLExpr>,Integer,Integer> getArg=(exprs, index)->{if(exprs==null || exprs.size()<index+1)return null;var expr = exprs.get(index);if(!(expr instanceof SQLIntegerExpr))return null;var intExpr = (SQLIntegerExpr) expr;var n = intExpr.getNumber().intValue();return n;};TabInfo tabInfo = new TabInfo();List<String> pkCols = new ArrayList<>();Map<String,ColumnInfo> colMap = new java.util.HashMap<>();//解析表名java.util.function.Consumer parserCreateTable = (statement) -> {OracleCreateTableStatement table = (OracleCreateTableStatement) statement;var tableName = table.getTableName();tableName = SQLUtils.normalize(tableName);System.out.println("--------------表名------------------");System.out.println("表名\t"+tableName);tabInfo.TableCode = tableName;for (SQLTableElement em : table.getTableElementList()) {if(em instanceof SQLColumnDefinition){var col = (SQLColumnDefinition) em;var colName = col.getColumnName();//字段名colName = SQLUtils.normalize(colName);var dataType = col.getDataType();//数据类型对象var type = dataType.getName();//类型var len = getArg.apply(dataType.getArguments(),0);//长度var precision = getArg.apply(dataType.getArguments(),1);//精度System.out.println(String.format("字段：%s\t%s\t%s\t%s", colName, type, len, precision));//var colInfo = new ColumnInfo();colInfo.colCode = colName;colInfo.type = type;colInfo.length = len;colInfo.precision = precision;colInfo.pk = pkCols.contains(colName);//是否主键字段colMap.put(colName, colInfo);tabInfo.columns.add(colInfo);}else if(em instanceof OraclePrimaryKey){var pk = (OraclePrimaryKey) em;var pkName = pk.getName().getSimpleName();//主键名pkName = SQLUtils.normalize(pkName);//主键字段列表pk.getColumns().forEach(x-> {var colName = x.getExpr().toString();colName = SQLUtils.normalize(colName);pkCols.add(colName);});System.out.println(String.format("主键：%s\t%s\t%s\t%s", pkName, pk.getComment()//注释, pkCols, JSONUtils.toJSONString(pk.getAttributes())));}}};//解析注释java.util.function.Consumer parserComment = (statement) -> {var com = (SQLCommentStatement) statement;System.out.println("------------------注释----------------");if(com.getType() == SQLCommentStatement.Type.TABLE){var tab = com.getOn();var tabName = tab.getName().getSimpleName();//表明var tabComment = com.getComment().toString();//表注释tabComment = SQLUtils.normalize(tabComment);System.out.println(String.format("tab注释：%s\t%s",tabName,tabComment));//tabInfo.comment = tabComment;}else if(com.getType() == SQLCommentStatement.Type.COLUMN){var tab = com.getOn();var tabName = tab.getName().toString();var colName = tab.getName().getSimpleName();//字段名colName = SQLUtils.normalize(colName);var comment = String.valueOf(com.getComment());//字段注释comment = SQLUtils.normalize(comment);System.out.println(String.format("col注释：%s\t%s",colName,comment));//var colInfo = colMap.get(colName);colInfo.comment = comment;}else if(com.getType() == SQLCommentStatement.Type.INDEX){}else if(com.getType() == SQLCommentStatement.Type.VIEW){}else{System.out.println("未知类型"+com.getType());}};//解析语句statements.forEach(statement -> {if(statement instanceof OracleCreateTableStatement){parserCreateTable.accept(statement);}else if(statement instanceof SQLCommentStatement){parserComment.accept(statement);}});System.out.println("\n------------------JSON----------------");String jsonStr = com.alibaba.fastjson.JSON.toJSONString(tabInfo,true);System.out.println(jsonStr);}@BeforeTestpublic void beforeTest() {ddl = "drop index \"Index_1\";\n" +"drop table \"sr_user_info\" cascade constraints;\n" +"/*==============================================================*/\n" +"/* Table: \"sr_user_info\"                                        */\n" +"/*==============================================================*/\n" +"create table \"sr_user_info\"  (\n" +"   \"user_id\"            VARCHAR2(64)                    not null,\n" +"   \"type\"               VARCHAR2(64)                    not null,\n" +"   \"login_name\"         VARCHAR2(64),\n" +"   \"user_name\"          VARCHAR2(64),\n" +"   \"display_name\"       VARCHAR2(256),\n" +"   \"organization\"       VARCHAR2(64),\n" +"   \"region\"             VARCHAR2(64),\n" +"   \"login_count\"        INTEGER,\n" +"   \"request_count\"      bigint,\n" +"   \"status\"             INTEGER,\n" +"   \"last_login_date\"    DATE,\n" +"   \"create_date\"        DATE,\n" +"   \"update_date\"        DATE,\n" +"   \"money\"              number(9,2),\n" +"   constraint PK_SR_USER_INFO primary key (\"user_id\")\n" +");\n" +"comment on table \"sr_user_info\" is '记录并统计用户行为';\n" +"comment on column \"sr_user_info\".\"user_id\" is '用户ID';\n" +"comment on column \"sr_user_info\".\"type\" is '类型';\n" +"comment on column \"sr_user_info\".\"login_name\" is '登录名';\n" +"comment on column \"sr_user_info\".\"user_name\" is '用户名';\n" +"comment on column \"sr_user_info\".\"display_name\" is '显示名称';\n" +"comment on column \"sr_user_info\".\"organization\" is '组织结构';\n" +"comment on column \"sr_user_info\".\"region\" is '区域';\n" +"comment on column \"sr_user_info\".\"login_count\" is '登录次数';\n" +"comment on column \"sr_user_info\".\"request_count\" is '请求次数';\n" +"comment on column \"sr_user_info\".\"status\" is '状态';\n" +"comment on column \"sr_user_info\".\"last_login_date\" is '最后登录时间';\n" +"comment on column \"sr_user_info\".\"create_date\" is '创建时间';\n" +"comment on column \"sr_user_info\".\"update_date\" is '修改时间';\n" +"comment on column \"sr_user_info\".\"money\" is '金钱';\n" +"/*==============================================================*/\n" +"/* Index: \"Index_1\"                                             */\n" +"/*==============================================================*/\n" +"create unique index \"Index_1\" on \"sr_user_info\" (\n" +"   \"user_id\" ASC,\n" +"   \"region\" ASC\n" +");\n";        }
}

六、控制台输出


--------------表名------------------
表名	sr_user_info
字段：user_id	VARCHAR2	64	null
字段：type	VARCHAR2	64	null
字段：login_name	VARCHAR2	64	null
字段：user_name	VARCHAR2	64	null
字段：display_name	VARCHAR2	256	null
字段：organization	VARCHAR2	64	null
字段：region	VARCHAR2	64	null
字段：login_count	INTEGER	null	null
字段：request_count	bigint	null	null
字段：status	INTEGER	null	null
字段：last_login_date	DATE	null	null
字段：create_date	DATE	null	null
字段：update_date	DATE	null	null
字段：money	number	9	2
主键：PK_SR_USER_INFO	null	[user_id]	{}
------------------注释----------------
tab注释："sr_user_info"	记录并统计用户行为
col注释：user_id	用户ID
col注释：type	类型
col注释：login_name	登录名
col注释：user_name	用户名
col注释：display_name	显示名称
col注释：organization	组织结构
col注释：region	区域
col注释：login_count	登录次数
col注释：request_count	请求次数
col注释：status	状态
col注释：last_login_date	最后登录时间
col注释：create_date	创建时间
col注释：update_date	修改时间

总结

不同的DDL定义语法会解析为不同的statment对象，这里只演示了一种DDL格式，比较原生。开源项目中有些很多测试用例其中继承OracleSchemaStatVisitor解析，看着内聚性更强。还需要注意的是，有些DDL将字段注释写在create语句中，上面的代码还要做相应的修改。


http://www.ppmy.cn/news/1556238.html

相关文章

APP测试中ios和androis的区别，有哪些注意点

APP测试中ios和androis的区别，有哪些注意点

一、运行机制不同 IOS采用的是沙盒运行机制&#xff0c;安卓采用的是虚拟机运行机制。 1、沙盒机制&#xff1a; 概念&#xff1a;沙盒是一种安全机制&#xff0c;用于防止不同应用之间互相访问 作用&#xff1a;就是存储数据&#xff0c;每个沙盒就相当于每个每个应用的系…
阅读更多...
Mac上使用ln指令创建软链接、硬链接

Mac上使用ln指令创建软链接、硬链接

在Mac、Linux和Unix系统中&#xff0c;软连接&#xff08;Symbolic Link&#xff09;和硬连接&#xff08;Hard Link&#xff09;是两种不同的文件链接方式。它们的主要区别如下&#xff1a; 区别&#xff1a; 硬连接&#xff1a; 不能跨文件系统。不能链接目录&#xff08;为…
阅读更多...
JVM--垃圾回收机制

JVM--垃圾回收机制

垃圾回收机制&#xff08;Garbage Collection&#xff0c;简称GC&#xff09;是Java虚拟机&#xff08;JVM&#xff09;中的一项关键技术&#xff0c;它自动管理程序运行时产生的内存分配与释放&#xff0c;从而减轻了程序员手动管理内存的负担&#xff0c;并减少了由于错误的内…
阅读更多...
JS进阶-面向对象-搭建网站-HTML与JS交互

JS进阶-面向对象-搭建网站-HTML与JS交互

JS进阶 文章目录 JS进阶大纲作用域和闭包作用域块级作用域语句作用域全局作用域 闭包调用闭包的方法全局变量返回值 面向对象实例化构造函数添加对象的成员prototypeproto和prototype理解原型和实例 对象原型的误解原型链this指向浏览器环境Node JS环境 JS逆向常见方法call和ap…
阅读更多...
.NET 技术系列 | 通过CreatePipe函数创建管道

.NET 技术系列 | 通过CreatePipe函数创建管道

01阅读须知 此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等&#xff08;包括但不限于&#xff09;进行检测或维护参考&#xff0c;未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失&#xf…
阅读更多...
【前端面试】list转树、拍平, 指标,

【前端面试】list转树、拍平, 指标,

这个题目涉及的是将一组具有父子关系的扁平数据转换为树形结构&#xff0c;通常称为“树形结构的构建”问题。类似的题目包括&#xff1a; 1. 组织架构转换 给定一个公司的员工列表&#xff0c;每个员工有 id 和 managerId&#xff0c;其中 managerId 表示该员工的上级。任务…
阅读更多...
MSSQL AlwaysOn 可用性组（Availability Group）中的所有副本均不健康排查步骤和解决方法

MSSQL AlwaysOn 可用性组（Availability Group）中的所有副本均不健康排查步骤和解决方法

当遇到 MSSQL AlwaysOn 可用性组（Availability Group）中的所有副本均不健康的情况时(MSSQL AG 副本名称: All replicas unhealthy)，这通常意味着可用性组无法正常工作，数据同步和故障转移功能可能受到影响。以下是一些可能的原因及相应的排查步骤和解决方法： 1. 检查副本…
阅读更多...
数据版本管理和迁移工具Flyway用法最简说明

数据版本管理和迁移工具Flyway用法最简说明

简介 数据库迁移及版本控制工具, 用于维护不同环境下数据库的一致性 使用 引入依赖 implementation(“org.flywaydb:flyway-core:7.1.1”) 配置 spring:flyway:enabled: truelocations: classpath:sqlbaseline-on-migrate: trueclean-disabled: trueenabled: true # 开启Fl…
阅读更多...
最新文章

Copyright @ 2022~2023