Hive内部表和外部表的区别

ops/2024/12/21 12:00:09/

Hive是基于Hadoop的数据仓库工具,hive本身并不存储数据,而是将表数据文件存储在hdfs中,hive能将此数据文件映射为一张表,并提供解析编译sql的功能,将用户提交的sql转换为mr job,在mapreduce引擎上对数据进行查询、统计和分析。

Hive创建表格时可以选择创建外部表或者内部表,内部表和外部表的区别主要在于:

(1)建表语句区别。外部表用external修饰,一般用location标识表数据所在位置。内部表数据一般在hdfs的/user/hive/warehouse/下。

(2)Hive管理范围不同。Hive管理内部表的元数据以及实际的表数据,而对于外部表只管理它的元数据。

(3)drop删除表的后果不同。对于内部表,drop会删除元数据以及实际表数据,因此内部表不适合和其他表共享数据;而外部表只会删除它的元数据,hdfs上的表数据不会被删除,因此更安全,更适合共享数据。

(4) 对表进行alter操作的不同。如对表的分区进行drop操作,对于外部表而言,只会删除对应的元数据信息,而不会删除hdfs上的路径,造成hive的元数据和hdfs分区路径不一致,此时需要修复表;而对于内部表而言,则会自动将更改同步至元数据以及hdfs路径。

(5)适用场景不同。一般来说,外部表更适合长期存储、数据共享(hive和其他工具共同处理数据)等需求,多用于数据仓库场景下。内部表更适合所有数据都由hive进行处理的场景下。


http://www.ppmy.cn/ops/143754.html

相关文章

基于RK3588机器人控制器+3D视觉传感器的送餐机器人解决方案

送餐机器人 通过搭载3D视觉传感器信迈机器人控制器,送餐机器人可以在复杂的餐厅环境中灵活避障通行,极大地提升餐品配送效率,改善用户用餐体验,并显著降低店家经营成本。 高峰期送餐难,曾一直是送餐机器人的行业痛点。…

pip使用方法

1. 安装包: pip install :安装指定的 Python 包。 pip install :安装特定版本的 Python 包。 pip install -r requirements.txt:从文件中读取依赖列表并安装所有列出的包。 pip install --pre :允许安装预发布或开发版…

如何有效修复ffmpeg.dll错误:一站式解决方案指南

当您遇到提示“ffmpeg.dll文件丢失”的错误时,这可能导致相关的应用程序无法启动或运行异常。本文将详细介绍如何有效地解决ffmpeg.dll文件丢失的问题,确保您的应用程序能够恢复正常运行。 ffmpeg.dll是什么?有哪些功能? ffmpeg.…

力扣-图论-18【算法学习day.68】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向和记录学习过程(例如想要掌握基础用法,该刷哪些题?)我的解析也不会做的非常详细,只会提供思路和一些关键点,力扣上的大佬们的题解质量是非…

[蓝桥杯 2019 国 B] 排列数

目录 前言 题解 思路 疑问 解答 前言 对于本篇文章是站在别人的基础之上来写的,对于这道题作为2019年国赛B组的最难的一题,他的难度肯定是不小的,这道题我再一开始接触的时候连思路都没有,也是看了两三遍别人发的题解&#x…

深入探索Flink的复杂事件处理CEP

深入探索Flink的复杂事件处理CEP 引言 在当今大数据时代,实时数据处理变得愈发关键。Apache Flink作为一款强大的流处理框架,其复杂事件处理(CEP)组件为我们从海量实时数据中提取有价值信息提供了有力支持。本文将详细介绍Flink…

【原生js案例】前端封装ajax请求及node连接 MySQL获取真实数据

上篇文章,我们封装了ajax方法来请求后端数据,这篇文章将介绍如何使用 Node.js 来连接 MySQL,并对数据库进行操作。 实现效果 代码实现 后端接口处理 const express require("express"); const connection require("../da…

思科CCNA认证都学什么考什么?

关注 工 仲 好:IT运维大本营CCNA考试要学的东西很多,你不要看它只是一个初级认证,但是它的专业内容知识是不少的,你想要学好也是需要下一番苦功的。 那么考CCNA需要学哪些东西呢?下面我们就来了解一下吧。 01、考CCN…