hive

https://github.com/datawhalechina/juicy-bigdata感谢项目团队的付出。

本次主要学习

hive

适合对海量数据进行离线分析不适合对数据进行实时处理。

前边学过的

HBase

对比内容Hive传统关系型数据库数据存储HDFS本地文件系统索引基本不支持支持复杂索引分区支持支持执行引擎MapReduce、Tez、Spark自身的执行引擎执行延迟高(T1)低扩展性好有限数据规模大小

hive

大类类型Integers整型TINYINT1字节的有符号整数SMALLINT2字节的有符号整数INT4字节的有符号整数BIGINT8字节的有符号整数Boolean布尔型BOOLEANTRUE/FALSEFloating

point

numbers浮点型FLOAT单精度浮点型DOUBLE双精度浮点型Fixed

point

types字符串STRING指定字符集的字符序列VARCHAR具有最大长度限制的字符序列CHAR固定长度的字符序列Date

and

types日期时间类型TIMESTAMP时间戳TIMESTAMP

WITH

内部表的表创建过程和数据加载过程是分离的加载数据过程中数据会被移动至相应的数仓进行操作。

删除

hive

中的hive.Metastore.warehouse.dir参数指定默认情况下表的数据存储在HDFS的/user/hive/warehouse/数据库名.db/表名/下数据的生命周期由Hive来进行管理外部表不会将数据移动到自己的数据仓库目录下只是在元数据中存储了数据的位置删除表删除元数据metadata和

HDFS

分区就是将数据存放于不同的目录查询时命中分区能避免全表扫描提高查询效率。

分桶

可以在分区的基础上继续进行分桶所谓分桶就是将分区内数据以某个字段的

hash

org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

hive

指定行分隔符、存储文件格式或采用自定义存储格式[LOCATION

hdfs_path]

([db_name.]table_name|view_name);