hive:数据导入,数据导出,加载数据到Hive,复制表结构

ops/2025/2/3 12:57:34/

hive不建议用insert,因为Hive是建立在Hadoop之上的数据仓库工具,主要用于批处理和大数据分析,而不是为OLTP(在线事务处理)操作设计的。INSERT操作会非常慢

数据导入

命令行界面:建一个文件

查询数据>>复制>>粘贴到新建的文件中

 加载数据到Hive(方法一)

查看数据是否插入成功

通过DataGrip

通过Hue查看是否插入成功

加载数据到Hive

set hive .exec.mode.local.auto = true ;开启本地模式, exec 是 "execution"(执行)
向多张表中插入数据的语法

示例

 

只是把原表的数据映射到目标表

示例

方法二示例

加载结束后再查询原文件所在的目录,文件已不存在,HDFS 加载走的是move移动文件

但是如果是从本地加载,走的是COPY,即保留原文件

方法二示例

(通过第三方工具访问Hive来执行本地加载文件可能会出现问题)

在命令行输入Hive启动Hive CLI,即Hive的命令行界面("Command Line Interface")

方法三示例

很慢, 因为相当于走的是insert

方法四示例

只是映射了原表的数据,没有创建新表, 即通过新表名和原表都可以查到相同的数据

注意事项

粘贴数据内容时,末尾不要有空行,否则数据表会出现空行,因为Hive默认行和行之间是换行,只要出现换行就会新起一行,只不过没有匹配到数据,所以是NULL

加载2次,可以上传成功,但是HDFS会把文件自动改名

使用overwrite,相当于先清空当前目录下的文件,在把文件上传

复制表结构

不同

使用like复制原表的表结构给目标表, 连分隔符也和原表一致,使用select语句则是先创建新表再插入数据,分隔符是默认的,不一定和原表一致.如果想要表结构一致且需要数据,使用数据导入的方法四

数据导出

示例

导出的文件系统自动起名

注意:只能在终端使用这个命令

命令解释: 

>>也常被称为追加

参数 e 代表 "expression",即要执行的HiveQL语句

示例

使用 -e参数命令执行完就到了linux,其他的命令执行完还在Hive


http://www.ppmy.cn/ops/155312.html

相关文章

selenium自动化测试框架——面试题整理

目录 1. 什么是 Selenium?它的工作原理是什么? 2. Selenium 主要组件 3. 常见 WebDriver 驱动 4. Selenium 如何驱动浏览器? 5. WebDriver 协议是什么? 6. Page Object 模式与 Page Factory 7. 如何判断元素是否可见&#x…

Python 类型注解

文章目录 Python 类型注解详解1. 引言2. Python 类型注解基础2.1 变量类型注解2.2 函数参数和返回值注解2.3 typing 模块的支持 3. 进阶:复杂数据类型3.1 可选类型(Optional)3.2 联合类型(Union)3.3 泛型(G…

AD电路仿真

目录 0 前言 仿真类型 仿真步骤 仿真功能及参数设置 仿真模型 应用优势 1 新建原理图 2 放置元器件及布线 3 放置探头 4 实验结果 Operating Point 分析的作用 DC Sweep 的主要功能 Transient Analysis 的主要功能 AC Analysis 的功能 5 总结 1. 直流工作点分析…

【含文档+PPT+源码】基于微信小程序连锁药店商城

项目介绍 本课程演示的是一款基于微信小程序连锁药店商城,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含:项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套系统 3.该项目附带的…

Deepseek的RL算法GRPO解读

在本文中,我们将深入探讨Deepseek采用的策略优化方法GRPO,并顺带介绍一些强化学习(Reinforcement Learning, RL)的基础知识,包括PPO等关键概念。 策略函数(policy) 在强化学习中, a…

MYSQL学习笔记(六):聚合函数、sql语句执行原理简要分析

前言: 学习和使用数据库可以说是程序员必须具备能力,这里将更新关于MYSQL的使用讲解,大概应该会更新30篇,涵盖入门、进阶、高级(一些原理分析);这一篇是内容较少,主要讲解:聚合函数和简要介绍sql语句执行过…

w189电商平台的设计与实现

🙊作者简介:多年一线开发工作经验,原创团队,分享技术代码帮助学生学习,独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取,记得注明来意哦~🌹赠送计算机毕业设计600个选题excel文…

matlab下面zoom显示75%是什么意思

在MATLAB中,zoom命令用于控制图形的缩放。当你看到zoom显示75%这样的表述时,它通常意味着当前图形的缩放比例被设置为75%。这里的百分比表示图形相对于其原始大小的缩放程度。 具体来说: - **100%** 表示图形是原始大小,没有进行…