利用 Local Data 导入文件到 OceanBase 的方法

ops/2024/11/17 4:36:48/

背景

在很多传统方法中,数据的传输常依赖于csv格式。为了提高传输效率,属于同一张表的多个csv文件往往会被打包成gz文件进行传输。

当gz文件从上游传递到下游后,为了将其中的csv数据导入数据库,一种直接的做法是:

1. 在客户机端解压gz文件。

2. 使用local data local infile命令将解压后的csv文件按照通配符一次性全部导入到服务机上的数据库中。

然而,这种方法存在一个明显的弊端:解压gz文件既耗时又占用额外的存储空间。

有没有办法把 gz 文件直接导入到 OceanBase中呢?我们有两种思路:

方法一、让 OceanBase 识别 gz 文件,支持类似下面的命令:

load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 OceanBase v4.3.3 中支持

方法二、使用 zcat 动态解压至 Unix 管道,并通过 /dev/stdin直接导入数据到 OceanBase:

zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中演示了这种方法。将 1.txt 和 2.txt 打包成 foo.gz,然后导入到数据库 test.t1 表中,效果如下:

[xiaochu.yh]cat 1.txt
1|1
1|1
1|1[xiaochu.yh]cat 2.txt
2|2
2|2[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2

http://www.ppmy.cn/ops/117853.html

相关文章

每日一题|2516. 每种字符至少取 K 个|双指针、最长子串、字典

本题需要转化求解目标。 对于一个序列,两头收集的最少数量的时候,剩下的部分(我们称之为子串)就会对应的越长。也就是说,我们只要求解一个满足要求的最长子串,使得两边剩余的字符数量刚好满足要求。 由于…

基于SpringBoot+Vue+MySQL的教学资料管理系统

系统展示 管理员后台界面 教师后台界面 系统背景 在当今信息化高速发展的时代,教育机构面临着日益增长的教学资料管理需求。为了提升教学管理的效率,优化资源的配置与利用,开发一套高效、便捷的教学资料管理系统显得尤为重要。基于SpringBoot…

脚手架是什么?详细版+通俗易懂版!!!!!!

脚手架(Scaffolding)在软件开发领域,特别是在前端开发和全栈开发环境中,是一个术语,用来描述一个辅助工具或框架,它旨在帮助开发者快速搭建项目的基础结构和开发环境。这些基础结构可能包括项目的目录结构、…

Powerbi -l9-异常数据的处理

背景 在获取输入源时出现了表格没有数据,而导致数据异常的情况, 需求 当异常出现时,显示其他的数据 方法 在代码中添加 in 的后面,添加try otherwise, 参考代码如下 letSource Pdf.Tables(Web.Contents("https…

西圣、漫步者头戴式耳机哪个音质好?热门主流头戴式耳机专业评测

一直以来头戴式蓝牙耳机凭借其独特的优势,逐渐成为了音乐爱好者、游戏玩家以及日常通勤者的首选,它们不仅融合了卓越的音质体验、便捷的无线连接,还融入了先进的降噪技术和人性化的佩戴设计,为用户带来了前所未有的听觉盛宴与舒适…

C语言习题~day35

1. int f(int x){ return ((x>2) ? x*f(x-1) : 3); } int i; if(f(2)) 执行如上函数后. i的值为() A.30 B.无限递归 C.9 D.2160 先计算内层的f(2),因为 2 不大于 2,所以返回 3,即f(2)3。 然后计算f(f(2))…

【后端开发】JavaEE初阶——计算机是如何工作的???

前言: 🌟🌟本期讲解计算机工作原理,希望能帮到屏幕前的你。 🌈上期博客在这里:【MySQL】MySQL中JDBC编程——MySQL驱动包安装——(超详解) 🌈感兴趣的小伙伴看一看小编主…

Apache Cordova/PhoneGap

Apache Cordova和PhoneGap是两个在移动应用开发领域备受关注的开源框架,它们有着紧密的联系和显著的区别。本文将从起源与发展、技术特点、功能与应用、社区与文档资源、性能与限制以及未来发展趋势等多个方面,对Apache Cordova和PhoneGap进行详细探讨。…