Spark创建Hive表

news/2024/10/18 5:46:59/

前言

实习生带着一脸坚毅的神情,斩钉截铁的告诉我:
Spark有bug,用Sparksql创建一个简单的外部表都报错:

create external table must be accompanied by location

我:你怎么创建的?
实习生:就下面一个简单的sql语句啊

spark.sql("""
CREATE EXTERNAL TABLE if not exists tb(
id int,
name string
) PARTITIONED BY (dt string)
STORED AS PARQUET
""")

我:你需要对Spark和Hive的基础知识进行巩固。

内部表和外部表的区别

它两主要区别在于LOAD和DROP这两个命令语义上:

  • 内表使用load命令会把数据移到自己仓库目录下

  • 外表使用load命令会把数据移到自己仓库以外的位置

  • 内表使用drop命令会把元数据和数据一起删除(这也就是为什么内表也叫托管表)

  • 外表使用load命令只会删除元数据

内部表和外部表的使用场景

内部表和外部表的差别其实真的很小很小。尽管如此,好的软件设计的一般原则的表达意图

(1)内部表的使用场景

  • 所有处理都由hive完成

(2)外部表


http://www.ppmy.cn/news/478895.html

相关文章

2023 3de实时仿真环境下资源不可见或没有了(只有floor)

F3退出实时仿真环境,双击结构树父节点 之后再进入实时仿真,3d仿真,再打开资源就可以看到了。

鸿蒙系统开始测试了,华为开始测试鸿蒙系统,百万台华为手机正在测试中,网友:厉害了...

原标题:华为开始测试鸿蒙系统,百万台华为手机正在测试中,网友:厉害了 2019年第一季度华为手机的出货量超过5900万台,超过苹果成为全球第二大厂,如果能够保持50%的增长,极有可能在今年超过三星成…

鸿蒙系统到底有没有,鸿蒙系统,到底有没有未来?

鸿蒙初判 话说在远古时代,天和地还未分开,世界是一团混沌。这种自然的元气就叫做:鸿蒙。 在这一片混沌之中,有个叫盘古的巨人,已经沉睡了一万八千年之久。 终于有一天,盘古醒了过来。眼前这一片混沌让他感到…

mysql数据库编程_MYSQL数据库编程

一,准备数据 -- 创建 "京东" 数据库 create database jing_dong charsetutf8; -- 使用 "京东" 数据库 use jing_dong; -- 创建一个商品goods数据表 create table goods( id int unsigned primary key auto_increment not null, name varchar(15…

鸿蒙基于liu,鸿蒙OS横空出世-----

(一) 环球时报报道:华为正在集中测试自己的操作系统,这一新款操作系统在国内市场命名为“鸿蒙OS”,在海外市场命名为“Oak OS”,或在8月份或9月份推出。(2019) 换句话说,再过两个月,鸿蒙,这个华…

华为鸿蒙兼容全部安卓软件,华为鸿蒙系统真的来了,一键兼容所有安卓应用,流畅度提升60%!...

在最近这段时间华为被加入“实体名单”之后,很多海外的业务受到了非常大的打击,一些企业都终止了与华为的合作,为的就是保护自己的利益,当然大家也能理解,毕竟企业最主要的就是为了挣钱和发展,所以在这个时…

什么是IPv6?IPv6与IPv4有什么区别?IPv6的安全?

IPv6是什么意思? IPv6通俗讲就是,第六代互联网。 这里稍微普及一下,网络最开始是上世纪60、70年代在美国诞生的,那时候计算机非常大、数量非常少,为了共享计算机资源,大家把几台计算机连接起来&#xff0…

Java基础——进阶

多线程 前置概念 ​ 多线程的发展史,起始就是一个压榨资源,提升效率的战斗史,促进它发展的根本动力其实在于各种资源(磁盘、内存、网络、CPU)的运行速度不平衡而造成的资源浪费。 ​ 站在地主老财的角度,如何让长工们给我种地赚…