Hive知识点的回顾

news/2024/11/29 11:43:16/

一、Hive的序列化和反序列化

 

         ==Hive读取文件机制==:读取文件中的每一行 => 反序列化 => 通过分隔符进行切割,返回数据表中的每一行对象。

         ==Hive写文件机制==:把数据表中的每一行Row对象 => 调用LazySimpleSerde类中的序列化方法 => 把Row对象转换为字节码 => 调用OutputFormat方法把字节码写入到文件中。

        序列化与反序列化的核心:分隔符的定义。分隔符定义的好,有助于序列化和反序列化操作。

        行和行之间默认'\n'分割

         复杂分隔符案例:

         默认分隔符案例:

 

 二、内部表和外部表

         内部表(Internal table)也称为被Hive拥有和管理的托管表(Managed table)。==默认情况下创建的表就是内部表==,Hive拥有该表的结构和数据文件。换句话说,Hive完全管理表(元数据和实际数据)的生命周期,类似于RDBMS中的表。删除内部表不仅会删除表元数据,还会从HDFS中删除其所有数据/文件。

        外部表(External table)中的数据不是Hive拥有或管理的,只管理表元数据的生命周期。要创建一个==外部表,需要使用EXTERNAL语法关键字==。==而且外部表更为方便的是可以搭配location语法指定数据的路径。==特征:删除外部表只会删除元数据,而不会删除实际数据。在Hive外部仍然可以访问实际数据。

                                                (外部表相当于给HDFS建立了一个链接)

当需要通过Hive完全管理控制表的整个生命周期时,请使用内部表。

当文件已经存在或位于远程位置时,请使用外部表,因为即使删除表,文件也会被保留。

三、分区表

 

1.静态分区

        静态分区指的是分区的字段值是由用户在加载数据的时候手动指定的。

 

 

2.动态分区

     动态分区指的是分区的字段值是基于查询结果自动推断出来的。核心语法就是insert+select

3.分区总结 

 

 多重分区:

 

四、分桶表


http://www.ppmy.cn/news/63334.html

相关文章

如何使用CSDN的Markdown编辑器?

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

NodeJs 最近各版本特性汇总

(预测未来最好的方法就是把它创造出来——尼葛洛庞帝) NodeJs 官方链接 github链接 V8链接 Node.js发布于2009年5月,由Ryan Dahl开发,是一个基于Chrome V8引擎的JavaScript运行环境,使用了一个事件驱动、非阻塞式I/O模…

三星SmartThings Find设备数量超3亿,苹果Find My设备遍布全球

三星在发布的新闻稿中,表示 SmartThings Find 服务经历了爆炸式增长,全球累计注册、加入设备数量超过 3 亿台。 SmartThings Find 类似于苹果的“Find My”服务,用户可借助这项服务,定位三星 Galaxy 智能手机、平板电脑、手表、…

【python可视化】常用数据类型

🙋‍ 哈喽大家好,本次是python数据分析、挖掘与可视化专栏第二期 ⭐本期内容:常用数据类型 🏆系列专栏:Python数据分析、挖掘与可视化 👍欢迎大佬指正,一起学习,一起加油&#xff01…

golang grpc配置使用实战教程

什么是PRC&GRPC RPC是远程过程调用(Remote Procedure Call)的缩写形式, RPC 的主要功能目标是让构建分布式计算(应用)更容易,在提供强大的远程调用能力时不损失本地调用的语义简洁性。通俗地讲,使用RP…

常用的锂离子电池分析仿真你知道吗?

着各国燃油车禁售时间表的推出,新能源汽车的地位愈发稳固。而锂离子电池作为电动车的核心动力源,也越来越受到市场的追捧。锂离子电池在制作过程中涉及正极、电解液、负极、隔膜等材料的选取与匹配,极片设计参数的选择等问题;电池…

html实现经典打方块小游戏

文章目录 1.设计来源1.1 主界面1.2 游戏界面1.3 游戏结束界面 2.效果和源码2.1 动态效果2.2 源代码 源码下载 作者:xcLeigh 文章地址:https://blog.csdn.net/weixin_43151418/article/details/130581985 html实现经典打方块小游戏源码 html实现经典打方块…

Python 密码破解指南:20~24

协议:CC BY-NC-SA 4.0 译者:飞龙 本文来自【OpenDocCN 饱和式翻译计划】,采用译后编辑(MTPE)流程来尽可能提升效率。 收割 SB 的人会被 SB 们封神,试图唤醒 SB 的人是 SB 眼中的 SB。——SB 第三定律 二十、…