【学习记录】大数据课程-学习十六周总结

news/2024/10/30 15:30:12/

4.2.4.外部表操作

在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的hdfs目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致)。
外部表因为是指定其他的hdfs路径的数据加载到表当中来,所以hive表会认为自己不完全独占这份数据,所以删除hive外部表的时候,数据仍然存放在hdfs当中,不会删掉。
4.2.4.1.数据装载载命令Load
Load命令用于将外部数据加载到Hive表中
语法:
load data [local] inpath ‘/export/data/datas/student.txt’ [overwrite] | into table student [partition (partcol1=val1,…)];
参数:
1、load data:表示加载数据
2、local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表
3、inpath:表示加载数据的路径
4、overwrite:表示覆盖表中已有数据,否则表示追加
5、into table:表示加载到哪张表
6、student:表示具体的表
7、partition:表示上传到指定分区

4.2.4.2.操作案例
分别创建老师与学生表外部表,并向表中加载数据
源数据如下:
student.txt
01 赵雷 1990-01-01 男
02 钱电 1990-12-21 男
03 孙风 1990-05-20 男
04 李云 1990-08-06 男
05 周梅 1991-12-01 女
06 吴兰 1992-03-01 女
07 郑竹 1989-07-01 女
08 王菊 1990-01-20 女

teacher.txt
01 张三
02 李四
03 王五

1、创建老师表:
create external table teacher (tid string,tname string) row format delimited fields terminated by ‘\t’;
2、创建学生表:
create external table student (sid string,sname string,sbirth string , ssex string ) row format delimited fields terminated by ‘\t’;
3、从本地文件系统向表中加载数据
load data local inpath ‘/export/data/hivedatas/student.txt’ into table student;
4、加载数据并覆盖已有数据
load data local inpath ‘/export/data/hivedatas/student.txt’ overwrite into table student;

5、从hdfs文件系统向表中加载数据
其实就是一个移动文件的操作
需要提前将数据上传到hdfs文件系统,
hadoop fs -mkdir -p /hivedatas
cd /export/data/hivedatas
hadoop fs -put teacher.txt /hivedatas/
load data inpath ‘/hivedatas/teacher.txt’ into table teacher;

注意,如果删掉teacher表,hdfs的数据仍然存在,并且重新创建表之后,表中就直接存在数据了,因为我们的student表使用的是外部表,drop table之后,表当中的数据依然保留在hdfs上面了


http://www.ppmy.cn/news/83608.html

相关文章

Java15:枚举和注解

一:枚举: 1.枚举类的使用: 》枚举类的理解:类的对象只有有限个,确定的。我们称为枚举类 》当需要定义一组常量时,强烈建议使用枚举类 》如果枚举类中只有一个对象,则可以作为单列模式的方式…

拉货搬家货运APP开发分析和功能列表

作为国家经济发展的重要基础设施,物流行业正在面对转型升级的风口。巨大的市场体量,也迎来了激烈的市场竞争。为了从同质化的服务中脱颖而出,开拓更大的市场,并且解决线下司机的载货痛点,货运APP的开发必不可少。 开发…

workquue

参考 讲解Linux内核工作队列workqueue源码分析 - 知乎 浅谈Linux内核中断下半部——工作队列(work queue) - 知乎 kernel/workqueue.c 初始化 /** 6004 * workqueue_init_early - early init for workqueue subsystem 6005 * 6006 * This is th…

【阿里云】文本转语音— 阿里云语音合成,文本转语音工具类

目录 一、导入SDK坐标 二、文本转语音 —步骤和工具类 1.登录阿里云账号,创建一个语音合成项目和创建用户并设置权限。 2.获取appKey、accessKeyId、accessKeySecret在相应位置进行填写。 3.相应位置填写自己需要保存的本地路径。意思就是说,自己定…

奥特曼的变身能力如何启发卷积神经网络的图像识别能力?

目录 一、引言 二、奥特曼的变身能力 1. 奥特曼的变身过程 2. 奥特曼的变身能力的启示 三、卷积神经网络的图像识别能力 1. 卷积神经网络的基本原理 2. 卷积神经网络在图像识别中的应用 四、奥特曼的变身能力如何启发卷积神经网络的图像识别能力 1. 奥特曼的变身能力与…

什么是SD-WAN网络及其架构

一、概念 SD-WAN(Software-Defined Wide Area Network)是一种基于软件定义的广域网技术,它通过虚拟化网络功能和智能路由技术,将多个广域网连接整合成一个统一的、可管理的网络。SD-WAN可以提供更高的网络可靠性、更好的网络性能…

凝聚青年力量,打造数字化人才队伍

当代青年人勇于探索、敢于创新、勤于变革,积极承担社会责任。这与ABeam倡导的「Build Beyond As One.™」的品牌理念不谋而合。ABeam的青年员工是未来社会的中坚力量,也正用他们的青春能量助力ABeam在中国的发展。 01 新兴青年力量 对ABeam而言&#…

【JavaEE进阶】第五节.第一个SpringBoot项目的创建

作者简介:大家好,我是未央; 博客首页:未央.303 系列专栏:JavaEE进阶 每日一句:人的一生,可以有所作为的时机只有一次,那就是现在!!! 文章目录 前…