一、含义

SQL的执行计划具体是什么然后假如在之后的运行过程中有报错可以根据执行计划定位问题调试自己的SQL开发脚本。

一、含义

SQL的执行计划描述SQL实际执行的整体轮廓通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑掌握了执行逻辑也就能更好地把握程序出现的瓶颈点从而能够实现更有针对性的优化。

此外还能帮助开发者识别看似等价的SQL其实是不等价的看似不等价的SQL其实是等价的SQL。

可以说执行计划是打开SQL优化大门的一把钥匙。

二、关键字

dependencydependency在explain语句中使用会产生有关计划中输入的额外信息。

它显示了输入的各种属性

explain

vectorization查看SQL的向量化描述信息显示为什么未对Map和Reduce进行矢量化。

从

Hive

locks这对于了解系统将获得哪些锁以运行指定的查询很有用。

LOCKS

Hive

版本删除了存在bug转储AST可能会导致OOM错误将在4.0.0版本修复

explain

可以输出有关计划的额外信息。

这通常是物理信息例如文件名这些额外信息对我们用处不大

1语法格式

org.apache.hadoop.mapred.SequenceFileInputFormatoutput

format:

org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormatserde:

org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeStage:

Stage-0Fetch

Stage-1Stage-1执行完成后执行Stage-0。

第二部分

stage

TreeReduce端的执行计划树这两个执行计划树里面包含这条sql语句的

operator

TableScan表扫描操作map端第一个操作肯定是加载表所以就是表扫描操作常见的属性

alias表名称

Statistics表统计信息包含分组聚合之后的数据条数数据大小等

Reduce

还有很多其他的用途如查看stage的依赖情况、排查数据倾斜、hive

五、explain

dependency用于描述一段SQL需要的数据来源输出是一个json格式的数据里面包含以下两个部分的内容

input_partitions描述一段SQL依赖的数据来源表分区里面存储的是分区名的列表如果整段SQL包含的所有表都是非分区表则显示为空。

input_tables描述一段SQL依赖的数据来源表里面存储的是Hive表名的列表。

3使用场景

场景一快速排除。

快速排除因为读取不到相应分区的数据而导致任务数据输出异常。

例如在一个以天分区的任务中上游任务因为生产过程不可控因素出现异常或者空跑导致下游任务引发异常。

通过这种方式可以快速查看SQL读取的分区是否出现异常。

场景二理清表的输入帮助理解程序的运行特别是有助于理解有多重子查询多表连接的依赖输入。

六、explain

authorization可以知道当前SQL访问的数据来源INPUTS

3explain

hdfs://node01:8020/tmp/hive/hdfs/cbf182a5-8258-4157-9194-

CURRENT_USER:

columnName:s_score}以上的内容来源网络仅供学习交流如有侵犯联系删除哦