Hive EXPLAIN 执行计划解析

Hive EXPLAIN 执行计划解析

EXPLAIN 语法

Hive提供了一个EXPLAIN命令，用于显示查询的执行计划。该语句的语法如下：

EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] query

在EXPLAIN语句中使用EXTENDED会提供关于计划中运算符的额外信息。这通常是物理信息，如文件名。
Hive查询会转换为一系列（更像是有向无环图）阶段。这些阶段可以是map/reduce阶段，也可以是执行元数据存储库或文件系统操作（如移动和重命名）的阶段。解释输出分为三个部分：

查询的抽象语法树
计划中不同阶段之间的依赖关系
每个阶段的描述

阶段本身的描述显示了一系列运算符及与运算符相关的元数据。元数据可能包括FilterOperator的过滤表达式、SelectOperator的选择表达式或FileSinkOperator的输出文件名等内容。

EXPLAIN 示例：

EXPLAIN
INSERT OVERWRITE TABLE dest_g1
SELECT src.key, sum(substr(src.value, 4))
FROM src
GROUP BY src.key;

这个SQL查询的作用是从表src中选择key字段，并对每个key对应的value字段进行截取后求和，然后将结果插入到目标表dest_g1中。输出结果包含以下两部分：依赖图和每个阶段的计划

//依赖图
STAGE DEPENDENCIES:Stage-1 is a root stageStage-2 depends on stages: Stage-1Stage-0 depends on stages: Stage-2
//这显示了Stage-1是根阶段，Stage-2在Stage-1完成后执行，Stage-0在Stage-2完成后执行。

//每个阶段的计划
STAGE PLANS:Stage: Stage-1Map ReduceAlias -> Map Operator Tree:srcReduce Output Operatorkey expressions:expr: keytype: stringsort order: +Map-reduce partition columns:expr: rand()type: doubletag: -1value expressions:expr: substr(value, 4)type: stringReduce Operator Tree:Group By Operatoraggregations:expr: sum(UDFToDouble(VALUE.0))keys:expr: KEY.0type: stringmode: partial1File Output Operatorcompressed: falsetable:input format: org.apache.hadoop.mapred.SequenceFileInputFormatoutput format: org.apache.hadoop.mapred.SequenceFileOutputFormatname: binary_tableStage: Stage-2Map ReduceAlias -> Map Operator Tree:/tmp/hive-zshao/67494501/106593589.10001Reduce Output Operatorkey expressions:expr: 0type: stringsort order: +Map-reduce partition columns:expr: 0type: stringtag: -1value expressions:expr: 1type: doubleReduce Operator Tree:Group By Operatoraggregations:expr: sum(VALUE.0)keys:expr: KEY.0type: stringmode: finalSelect Operatorexpressions:expr: 0type: stringexpr: 1type: doubleSelect Operatorexpressions:expr: UDFToInteger(0)type: intexpr: 1type: doubleFile Output Operatorcompressed: falsetable:input format: org.apache.hadoop.mapred.TextInputFormatoutput format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormatserde: org.apache.hadoop.hive.serde2.dynamic_type.DynamicSerDename: dest_g1Stage: Stage-0Move Operatortables:replace: truetable:input format: org.apache.hadoop.mapred.TextInputFormatoutput format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormatserde: org.apache.hadoop.hive.serde2.dynamic_type.DynamicSerDename: dest_g1

在本示例中有2个map/reduce阶段（Stage-1和Stage-2）和1个与文件系统相关的阶段（Stage-0）。Stage-0基本上将结果从临时目录移动到与表dest_g1对应的目录。
排序顺序表示在排序中使用的键表达式的列数。每个“+”表示一个按升序排序的列，每个“-”表示一个按降序排序的列。

一个map/reduce阶段本身有两部分：
从表别名到Map Operator Tree的映射 - 这个映射告诉mapper应调用哪个操作树来处理特定表或先前map/reduce阶段结果的行。在上面的示例中，Stage-1中src表的行由Reduce Output Operator根的操作树处理。类似地，在Stage-2中，Stage-1结果的行由另一个Reduce Output Operator根的操作树处理。这些Reduce Output Operator根据元数据的标准将数据分区到reducer。
Reduce Operator Tree - 这是处理map/reduce作业的reducer上的所有行的操作树。例如，在Stage-1中，Reducer Operator Tree执行部分聚合，而Stage-2中的Reducer Operator Tree从Stage-1中拿到计算的部分聚合后计算最终聚合。

Hive执行计划官方文档https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain