经典sql题（十二）UDTF之Explode炸裂函数

EXPLODE 函数是Hive 中的一种用户定义的表函数（UDTF），用于将数组或映射结构中的复杂的数据结构每个元素拆分为单独的行。这在处理复杂数据时非常有用，尤其是在需要将嵌套数据“打散”以便更好地分析时。

假设我们有一个存储用户偏好的 Hive 表，结构如下：

我们希望将 preferences 列中的数组拆分为多行。

sql">SELECT user_id, preference
FROM users
LATERAL VIEW explode(preferences) exploded_table AS preference;

LATERAL VIEW 允许我们将 UDTF 的输出与原始表中每一行的数据连接在一起，这样就可以在查询中灵活地处理嵌套数据。

结合 EXPLODE 和 LATERAL VIEW 的例子，假设我们有一个包含订单信息的表：

我们想要拆分 items 列。

sql">SELECT order_id, item
FROM orders
LATERAL VIEW explode(items) exploded_items AS item;

SPLIT 函数用于将字符串分割成字符串数组。它常与 EXPLODE 一起使用，以便对字符串数据进行更细粒度的分析。

假设我们有一个存储用户评论的表：

user_id	comment
1	“great product, love it”
2	“not bad, could be better”
3	“will buy again, highly recommend”

我们希望将评论中的每个单词拆分出来。

sql">SELECT user_id, word
FROM comments
LATERAL VIEW explode(split(comment, ' ')) exploded_words AS word;

将 EXPLODE 和 LATERAL VIEW 结合使用，可以轻松实现词频统计等任务。

假设我们要统计每个单词的出现频率：

sql">SELECT word, COUNT(*) AS frequency
FROM comments
LATERAL VIEW explode(split(comment, ' ')) exploded_words AS word
GROUP BY word;

SPLIT 函数:
- 用于将字符串按照指定的分隔符拆分成数组。
- 适用于文本数据的分割，比如将一句话拆分成单词。
LATERAL VIEW 和 EXPLODE:
- LATERAL VIEW 是用于将 UDTF (用户定义的表函数) 的结果与原始表数据结合使用的。EXPLODE 是一种 UDTF，它可以将数组中的每个元素展开为多行。
- 当我们有一个数组时，可以直接使用 EXPLODE 来将它拆分为多行。