hive add columns 后查询不到新字段数据的问题

news/2024/12/23 2:16:03/

分区表add columns 查询不到新增字段数据的问题;
5.1元数据管理
(1)基本架构
     Hive的2个重要组件:hiveService2 和metastore,一个负责转成MR进行执行,一个负责元数据服务管理
     beeline-->hiveService2/spark-->metastore-->metadata

hive 架构及 metastore 功能简单介绍_骑着蜗牛向前跑的博客-CSDN博客
(2)多级管理机制
有数据库、表、分区、字段、存储等多个元数据管理信息;
(3)spark可以使用hive的库表,因为spark也可以配置参数,调取hive的metastore信息,从而访问hdfs取数据;

Hive之深入了解元数据_hive元数据_珞沫的博客-CSDN博客
5.2 cascade关键字
    可以认为hadoop 的文件管理粒度对于分区表是到分区粒度的,是比表更细一个粒度的,所以alter table test1 add columns(department string comment ‘部门’) 这个命令不会改变历史分区的元数据信息,这种情况下即便insert overwrite命令更新了hdfs的数据,再使用select命令时仍然根据旧的元数据信息获取数据,所以获取不到新增字段;alter table test1 add columns(department string comment ‘部门’)cascade这个命令可以改变历史分区的元数据信息,insert overwrite命令后可以查到历史分区的新增字段数据;

hive分区表新增字段(add columns)后旧分区报错/字段无法写入(CASCADE)_hive add column-CSDN博客


http://www.ppmy.cn/news/1144791.html

相关文章

解析navicate数据库密码

在线运行地址:代码在线运行 - 在线工具 <?php class NavicatPassword {protected $version 0;protected $aesKey libcckeylibcckey;protected $aesIv libcciv libcciv ;protected $blowString 3DC5CA39;protected $blowKey null;protected $blowIv null;public func…

Linux 部署 MinIO 分布式对象存储 配置为 typora 图床

前言 MinIO 是一款高性能的对象存储系统&#xff0c;它可以用于大规模的 AI/ML、数据湖和数据库工作负载。它的 API 与Amazon S3 云存储服务完全兼容&#xff0c;可以在任何云或本地基础设施上运行。MinIO 是开源软件&#xff0c;也提供商业许可和支持 MinIO 的特点有&#x…

使用安卓Termux+Hexo,手机也能轻松搭建个人博客网站

文章目录 前言1.安装 Hexo2.安装cpolar3.远程访问4.固定公网地址5.结语 前言 Hexo 是一个用 Nodejs 编写的快速、简洁且高效的博客框架。Hexo 使用 Markdown 解析文章&#xff0c;在几秒内&#xff0c;即可利用靓丽的主题生成静态网页。 下面介绍在Termux中安装个人hexo博客并…

数据结构和算法——排序算法

目录 排序的分类&#xff1a; 内部排序&#xff1a; 插入排序&#xff1a; 直接插入排序&#xff1a; 希尔排序&#xff1a; 选择排序&#xff1a; 简单选择排序&#xff1a; 堆排序&#xff1a; 交换排序&#xff1a; 冒泡排序&#xff1a; 快速排序 归并排序&…

【分享】xpath的路径表达式

XPath&#xff08;XML Path Language&#xff09;是一种用于在XML文档中定位和选择元素的查询语言。XPath使用路径表达式来描述文档中的元素位置和关系。下面是XPath中常用的路径表达式的一些示例&#xff1a; 选择根元素&#xff1a;要选择文档的根元素&#xff0c;可以使用斜…

2023年中国烹饪机器人市场发展概况分析:整体规模较小,市场仍处于培育期[图]

烹饪机器人仍属于家用电器范畴&#xff0c;是烹饪小家电的进一步细分&#xff0c;它是烹饪小家电、人工智能和服务机器在厨房领域的融合。烹饪机器人是一种智能化厨房设备&#xff0c;可以根据预设的程序实现自动翻炒和烹饪&#xff0c;是多功能料理机和炒菜机结合的产物。 烹…

【20】c++设计模式——>组合模式

组合模式定义 C组合模式&#xff08;Composite Pattern&#xff09;是一种结构型设计模式&#xff0c;他允许将对象组合成树形结构来表示“部分-整体”的层次结构&#xff1b;在组合模式中有两种基本类型的对象&#xff1a;叶子对象和组合对象&#xff0c;叶子对象时没有子对象…

活动预告|DeFi和zkLogin专题Workshop AMA

Sui流动性质押黑客松于10月初落下帷幕&#xff0c;但随着Sui网络TVL的不断增加&#xff0c;大家对Sui生态DeFi的讨论持续增加。据DeFiLlama统计&#xff0c;截止10月10日Sui网络TVL突破4000万USD&#xff0c;不断创历史新高&#xff01;zklogin于9月底正式上线&#xff0c;用户…