梧桐数据库半结构化json数据入库及解析

devtools/2024/11/28 9:06:17/

  在日常开发中存在使用半结构化数据的场景,当前梧桐数据库支持对该类数据处理的功能,下面结合具体案例介绍半结构化json数据的处理。

一、创建数据表

sql">drop table if exists public.tmp_alldata_json_test_202408 ;
create table public.tmp_alldata_json_test_202408  
( id varchar, alldata  json 
)with  (orientation = orc) distributed by (id);

注:json类型无法作为分布键,同步创建id主键字段作为分布键。

jsonjson_13">二、将json数据导入数据表json字段

通过PSQL连接数据库

psql -h $IP -d $DataName -U $UserName

Json文件数据copy入库:

\COPY $TableName( D a t a C o l u m n ) F R O M ′ / DataColumn ) FROM '/ DataColumn)FROM/Dir/$FileName’

三、查询确认入数表数据内容:

sql">select alldata from public.tmp_alldata_json_test_202408  limit 5;
{"PhoneNum":"12345678910","CustgLabel":["1234567","78901289"],"Province":"551"}

json_26">四、使用SQL取数json字段数据中键字符串以及对应数据值

sql">select alldata-> 'PhoneNum'     as PhoneNum ,alldata-> 'CustgLabel'   as CustgLabel ,alldata-> 'Province'     as Province 
from public.tmp_alldata_json_test_202408  
limit 50;

通过以上方式可以将json结构的数据转换成结构化数据,如有需要创建相对应的结构化数据表将解析后的数据插入其中,完成半结构化数据到结构化数据的转换。

五、总结

  以上是将json结构的数据转化成结构化数据的入库操作方法,首先通过psql COPY的方式将json数据入库,通过语法将半结构化的数据解析为结构化数据,完成数据的入库及解析。


http://www.ppmy.cn/devtools/137622.html

相关文章

房屋结构安全监测系统守护房屋安全卫士

一、系统背景 随着时间的流逝,建筑物的主体结构、设备设施等会因为自然老化、材料疲劳、使用环境的变化以及维护不当等各种因素的影响,逐渐出现性能下降甚至安全隐患。因此,进行房屋安全监测显得尤为重要。房屋结构安全是指建筑物的结构体系在…

Docker初识-架构

Docker的应用场景 Web应用的自动化打包和发布自动化测试和持续集成,发布在服务型环境中部署和调整数据库或其他的后台应用从头编译或者扩展现有的OpenShift或Cloud Foundry来搭建自己的PaaS环境、 Docker 的优点 Docker 是一个用于开发,交付和运行应用…

目标检测之学习路线(本科版)

以下是为一名计算机科学与技术本科大四学生整理的“目标检测”学习路线,结合了从基础到高级的内容,适合初学者逐步深入。每个阶段都有明确的学习要求、学习建议和资源推荐。 阶段一:基础知识学习 学习要求: 掌握编程语言 Pytho…

️ 如何优化爬虫程序以提高抓取效率?

在开发爬虫程序时,提高抓取效率是至关重要的。以下是一些常见的性能优化策略,可以帮助你优化Java爬虫程序: 多线程与分布式抓取: 利用多线程技术可以显著提高爬虫的抓取速度。例如,在WebMagic中,可以通过配…

SpringBoot(四十二)SpringBoot集成classfinal加密Jar包

上文中,我们使用jasypt对项目中application.yml配置文件进行了加密。很多时候我们在将项目打成jar包之后,也是不希望被反编译的,毕竟是我们自己辛苦写的代码。 那怎么办呢? 有现成的轮子供我们使用:classfinal 官网:ClassFinal: Java字节码加密工具 这是一个开源项目,是…

Dockerfile打包部署

Dockerfile打包 先找到打包完的目录下创建一个Dockerfile文件 touch Dockerfile 进去文件内编写 vim Dockerfile # 基础镜像 FROM openjdk:8 # author MAINTAINER yxh # 挂载目录 VOLUME /home/project # 创建目录 RUN mkdir -p /home/project # 指定路径 WORKDIR /home/pr…

如何利用蓝燕云零代码平台构建工程企业成本控制系统?

随着工程项目管理逐步走向数字化,企业对成本控制的精细化需求不断提升。利用蓝燕云零代码平台,可快速构建一套高效、智能的成本控制系统,实现从预算编制到分析决策的全流程管理。 一、核心功能模块 1. 预算与成本管理 预算编制:…

代码美学2:MATLAB制作渐变色

效果: %代码美学:MATLAB制作渐变色 % 创建一个10x10的矩阵来表示热力图的数据 data reshape(1:100, [10, 10]);% 创建热力图 figure; imagesc(data);% 设置颜色映射为“cool” colormap(cool);% 在热力图上添加边框 axis on; grid on;% 设置热力图的颜色…