Hive:日志,hql运行方式,Array,行列转换

devtools/2025/2/4 0:47:25/

日志

可以在终端通过 find / | grep hive-log4j2 命令查找Hive的日志配置文件

这些文件用于配置Hive的日志系统。它们不属于系统日志也不属于Job日志,而是用于配置Hive如何记录系统日志和Job日志, 可以通过hive-log4j2 查找日志的位置

HQL的3种运行方式

第1种就是linux终端, 第3种是通过第三方工具,比如DataGrip, 第3种方式用得比较多

1. 在linux命令行中执行HQL

[root@hadoop01 ~] $ hive --database 数据库名  -e 'hql query'
e--execute
f--file
s--silent
i--init
示例  : 没有写数据库名称默认是从default数据库中查找
2. beeline 连接

复杂数据类型Array

注意: 创建表时除了需要指定数组元素的分隔符, 否则所有的元素都会被当成一个元素
array里面元素的数据类型只能是基本数据类型,不能是另一种复杂类型
示例
一个双引号是一个元素
访问数组的具体元素使用下标
size(数组名) 返回数组元素的个数
如果想查询每个人的总成绩, 因为王五只考了2门成绩, 所以出现了NULL, 需要对空值进行处理, 这需要知道每个数组的元素个数,比较麻烦
把数组里面的元素展开,可以更方便地统计总成绩, 即行转列, 可以使用展开函数(也称爆炸函数)

行转列: 展开函数explode和虚拟表lateral view

UDTF是User-Defined Table-Generating Functions的缩写,即用户定义的表生成函数。
使用时select后面不能出现其他列
示例: 爆炸函数

示例: 虚拟表

lateral view explode(score) 虚拟表的表名是mytab 给表起个别名 cj 作为查询列

列转行 : collect_set和 collect_list

多变一


http://www.ppmy.cn/devtools/155861.html

相关文章

强化学习数学原理(四)——蒙特卡洛方法

一、蒙特卡洛方法 蒙特卡洛方法是一种无模型(Model-Free)的强化学习算法,它通过直接与环境交互采样轨迹(episodes)来估计状态或动作的价值函数(Value Function),而不需要依赖环境动态…

2025年2月2日(tcp_server_socket.listen(128))

tcp_server_socket.listen(128) 是 Python 中用于设置 TCP 服务器套接字(socket)在监听传入连接时的最大连接数。 具体来说: tcp_server_socket 是一个通过 socket.socket() 创建的服务器套接字。listen() 方法用于将套接字设置为“监听模式…

wax到底是什么意思

在很久很久以前,人类还没有诞生文字之前,人类就产生了语言;在诞生文字之前,人类就已经使用了语言很久很久。 没有文字之前,人们的语言其实是相对比较简单的,因为人类的生产和生活水平非常低下,…

LM Studio windows系统断网教程,通过防火墙禁止联网

使用LM Studio 进行大模型的使用,有时候需要断网,下面是断网教程 1、找到文件位置 右键LM Studio ,查看起始位置 2、在搜索里搜防火墙, 打开高级安全Windows Defender防火墙 打开之后如图所示 3、入站规则处理 3.1、LM S…

doris:聚合模型的导入更新

这篇文档主要介绍 Doris 聚合模型上基于导入的更新。 整行更新​ 使用 Doris 支持的 Stream Load,Broker Load,Routine Load,Insert Into 等导入方式,往聚合模型(Agg 模型)中进行数据导入时,都…

【算法设计与分析】实验5:贪心算法—装载及背包问题

目录 一、实验目的 二、实验环境 三、实验内容 四、核心代码 五、记录与处理 六、思考与总结 七、完整报告和成果文件提取链接 一、实验目的 掌握贪心算法求解问题的思想;针对不同问题,会利用贪心算法进行问题建模、求解以及时间复杂度分析&#x…

windows10 配置使用json server作为图片服务器

步骤1:在vs code中安装json server, npm i -g json-server 注意:需要安装对应版本的json server,不然可能会报错,比如: npm i -g json-server 0.16.3 步骤2:出现如下报错: json-server 不是…

【赵渝强老师】Spark RDD的依赖关系和任务阶段

Spark RDD彼此之间会存在一定的依赖关系。依赖关系有两种不同的类型:窄依赖和宽依赖。 窄依赖:如果父RDD的每一个分区最多只被一个子RDD的分区使用,这样的依赖关系就是窄依赖;宽依赖:如果父RDD的每一个分区被多个子RD…