检查HIVE分区是否连续

news/2024/10/18 10:15:16/

检查HIVE分区是否连续

  • 场景描述
  • 分区连续性检查语句

我们经常可能会有这样的诉求,需要对一张目标表进行分区检查,查看是否存在不连续的情况,该诉求频繁且重要,因此以下语句可以实现我们的诉求

场景描述

我们有一张表,表名 t_user_info,分区字段 ds,分区字段数据类型 String,分区数据格式 yyyyMMdd

分区连续性检查语句

SELECT  ds,rn,date_sub(ds_format, rn)
FROM
(-- 对分区数据进行类型转换SELECT  ds,from_unixtime(unix_timestamp(ds, 'yyyyMMdd'), 'yyyy-MM-dd') as ds_format,row_number() over(order by ds asc) rn -- 排序分区,按照ds升序FROM(-- 获取表中的所有分区数据 SELECT  dsFROM t_user_info-- 指定分区检查的时间段WHERE ds between '20221231' and '20230924'group by ds) ds_info
) diff_ds_info
limit 1000
;

http://www.ppmy.cn/news/1470488.html

相关文章

java本地缓存(map,Guava,echcache,caffeine)优缺点,以及适用场景

前言 在高并发系统环境下,jvm本地缓存扮演着至关重要的角色,合理的应用能够使系统响应迅速,提高用户体验感,而分布式缓存redis则存在着网络io,以及流量消耗问题,需要和本地缓存搭配使用,才能使…

常见的spark mllib分类算法详解

构建一个中文博客:常见的分类算法详解 在机器学习和数据科学领域,分类算法是解决分类问题的重要工具。本文将介绍几种常见的分类算法,包括线性支持向量机(LinearSVC)、逻辑回归(Logistic Regression&#…

第二十四节:带你梳理Vue2 : Vue具名插槽/作用域插槽/v-slot指令

1. 具名插槽 1.1 没有使用具名插槽的问题 有的时候我们在使用子组件时,在子组件模板上不同的位置插入不同的内容, 只有一个插槽显然没法满足我们的需求,看示例: 需求如下: 子组件是一篇文章的结构父组件在调用子组件是给文章插入标题,正文,时间信息 示例代码如下: <di…

IP地址介绍

一、IP地址的点分十进制 ip地址在计算机内部使用中&#xff0c;ip地址实际上是一个4字节、32bit的二进制数&#xff0c;但是为了让人好识别&#xff0c;将每个字节换为十进制数&#xff0c;在以地点分开的方式表示&#xff0c;这种方式就是点分十进制。 二、ABCDE这几类IP、网…

商超仓库管理系统

摘要 随着全球经济和互联网技术的快速发展&#xff0c;依靠互联网技术的各种管理系统逐渐应用到社会的方方面面。各行业的有识之士都逐渐开始意识到过去传统的人工管理模式已经逐渐成为企业发展的绊脚石&#xff0c;不再适应现代企业的发展需要。企业想要得到更好的发展&#…

贪吃蛇——c语言版

文章目录 演示效果实现的基本功能技术要点源代码实现功能GameStart打印欢迎界面和功能介绍绘制地图创建蛇创建食物 GameRun打印提示信息蛇每走一步 GameEnd蛇死亡后继续游戏 演示效果 贪吃蛇1.0演示视频 将终端应用程序改为控制台主机 实现的基本功能 贪吃蛇地图绘制蛇吃食物的…

Spring AI 调用 openAI 进行语音识别

Spring AI支持语音识别功能&#xff0c;目前仅支持OpenAI的Transcription模型。 项目搭建&#xff1a; 参考 Spring AI 介绍以及与 Spring Boot 项目整合 源码示例&#xff1a; RestController RequestMapping("/openai") public class OpenAiIAudioTranscriptionC…

SpingBoot快速入门下

响应HttpServietResponse 介绍 将ResponseBody 加到Controller方法/类上 作用&#xff1a;将方法返回值直接响应&#xff0c;如果返回值是 实体对象/集合&#xff0c;将会自动转JSON格式响应 RestController Controller ResponseBody; 一般响应 统一响应 在实际开发中一般…