。

换句话说#xff0c;Hive完全管理表#xff08;元数据和数据#xff09;的生命周期#xff0c;类似于RDBMS中的表。

当你删除内部表时#xff0c;它会删除数据以及表的元数据。

可以使…1.内部表和外部表

默认情况下创建的表就是内部表Hive拥有该表的结构和文件。

换句话说Hive完全管理表元数据和数据的生命周期类似于RDBMS中的表。

当你删除内部表时它会删除数据以及表的元数据。

可以使用DESCRIBE

FORMATTED

tablename,来获取表的元数据描述信息从中可以看出表的类型

外部表External

)中的数据不是Hive拥有或管理的只管理表元数据的生命周期。

要创建一个外部表需要使用EXTERNAL语法关键字。

删除外部表只会删除元数据而不会删除实际数据。

在Hive外部仍然可以访问实际数据。

实际场景中外部表搭配location语法指定数据的路径可以让数据更安全。

主要差异:

Metastore中管理表定义、字段类型等元数据信息。

删除内部表时除了会从Metastore中删除表元数据还会从HDFS中删除其所有数据文件。

删除外部表时只会从Metastore中删除表的元数据并保持HDFS位置中的实际数据不变。

代码演示

比如在一个学生表中想查询某一个年级的学生,如果不分区,需要在整个数据文件中全表扫描,但是分区后只需要查询对应分区的文件即可.

静态分区

注意∶分区字段不能是表中已经存在的字段因为分区字段最终也会以虚拟字段的形式显示在表结构上。

select

----------------------------------------------------

t_student.sid

----------------------------------------------------

----------------------------------------------------创建本地文件

stu01.txt

----------------------------------------------------

t_student.sid

----------------------------------------------------

zhangsan

----------------------------------------------------注意:文件中的数据放入到哪个分区下就属于当前分区的数据,即使数据有误,也会按照当前分区处理

stu03.txt

----------------------------------------------------

t_student.sid

----------------------------------------------------

liuyan

----------------------------------------------------创建多分区表

创建学生表

partition(grade3,clazz2);select

from

------------------------------------------------------------------------------

t_student02.sid

------------------------------------------------------------------------------

liuyan

------------------------------------------------------------------------------动态分区

静态分区与动态分区的主要区别在于静态分区是手动指定而动态分区是通过数据来进行判断.

详细来说:静态分区需要我们自己手动load并指定分区,如果数据很多,那么是麻烦了.而动态分区指的是分区的字段值是基于查询结果参数位置自动推断出来的。

核心语法就是insertseclect。

临时设置

hive.exec.dynamic.partitiontrue;

set

hive.exec.dynamic.partition.modenonstrict;其余参数配置如下:

--hive.exec.dynamic.partitiontrue;

设置为nonstrict表示允许所有分区都是动态的默认为strict

严格模式至少有一个静态分区

hive.exec.dynamic.partition.modenonstrict;

每个mapper或reducer可以创建的最大动态分区个数(默认为100)

比如源数据中包含了一年的数据即day字段有365个值那么该参数就需要设置成大于365

如果使用默认

--hive.exec.max.dynamic.partition.pernode100;

--hive.exec.max.dynamic.partitions1000;

--hive.exec.max.created.files100000;

hive.error.on.empty.partitionfalse;动态分区创建操作步骤

创建文件并上传创建外部表指向文件(相当于临时表)创建动态分区表查询外部表将数据动态存入分区表中

创建文件并上传student.txt

分桶表也叫做桶表叫法源自建表语法中bucket单词是一种用于优化查询而设计的表类型。

分区提供一个隔离数据和优化查询的便利方式。

不过并非所有的数据集都可形成合理的分区。

不合理的数据分区划分方式可能导致有的分区数据过多而某些分区没有什么数据的尴尬情况

对Hive(Inceptor)表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中这些小文件称为桶。

桶以文件为单位管理数据!分区针对的是数据的存储路径分桶针对的是数据文件。

原理:

hash_function(bucketing_column)

mod

根据join的字段对表进行分桶操作,join时可以提高MR程序效率减少笛卡尔积数量.

分桶表数据进行高效抽样.数据量大时,使用抽样数据估计和推断整体特性.

2.创建外部表指向person.txt

tablesample是抽样语句语法TABLESAMPLE(BUCKET

OUT

x表示从哪个bucket开始抽取。

例如table总bucket数为32tablesample(bucket

out

y必须是table总bucket数的倍数或者因子。

hive根据y的大小决定抽样的比例。

tablesample(bucket

out