1.1.2

Hive数据仓库其实本质上就是Hadoop技术框架的一个“客户端”Hive数据仓库可以用来进行海量数据的存储和海量数据的计算海量数据主要指的就是结构化数据Hive存储的数据底层是基于HDFS存放的Hive只是以二维表格的形式进行数据的组织数据默认都是在HDFS的/user/hive/warehouse,Hive进行数据计算采用了一种类SQL语句–HQL语句来进行的HQL语言底层默认会翻译成为MapReduce程序进行运行Hive底层翻译的分布式计算程序MR、Spark、Tez默认需要借助Hadoop中YARNMesos也是apache开源的一个分布式资源调度系统进行资源的调度。

1.1

进入的一个交互式命令行窗口repl,进入一个窗口在这个窗口可以循环的编写多条指令执行每一次执行只需要敲回车

hive

不进入repl也可以执行HQL语句的相关命令一般使用在单条HQL语句执行

hive

不进入repl也可以执行多条HQL语句多条HQL语句必须放到一个SQL文件中并且可以向SQL文件传递动态参数

只需要把Hadoop的HDFS、YARN启动即可不需要启动任何Hive相关的服务弊端命令行客户端只能在Hive的安装节点上使用

API

Hive的命令行客户端只能使用在hive的安装节点上远程操作Hive无法使用命令行客户端完成此时使用Hive的JDBC客户端来完成

JDBC客户端如果要使用必须启动Hive的一个远程连接操作服务hiveserver2和hiveserver2服务默认会启动一个10000端口

hive-site.xml文件中做配置还需要在Hadoop的core-site.xml、hdfs-site.xml文件中放行hive服务用户的权限

url:

编写JDBC代码来进行操作使用DBeaver工具来进行操作使用阿里云开发的chat2db工具来进行操作

【注意】hiveserver2的启动和关闭必须复杂的通过自定义shell脚本实现hiveserver2的快速启动和关闭

1.1.2

Hive底层会把类SQL语句-HQL语句转换成为MR程序执行核心就是Hive的驱动程序

解析器编译器优化器执行器

Hive只是以类似于数据表的形式进行数据的存放但是Hive本身不存储任务的表结构和表数据表结构全部都在Hive的一个核心–元数据库metastore存放着每一个数据表底层在HDFS存放的数据都在元数据库中做了地址映射。

默认Hive的元数据库在derby数据库存放但是derby数据库存放hive元数据存在问题–多客户端无法同时操作的问题

指定hive的元数据库存放到其他的RDBMS关系型数据库中MySQL

Hive中提供了一种类似于SQL的HQL语句进行数据库、数据表的管理以及各项表数据的操作其中格局操作类型不同HQL语句也分为DDL、DML、DQL

2.1

只能修改数据库的dbproperties、所属用户、在hdfs上存储位置

删除数据库

[column_constraint_specification]

[COMMENT

分区表将表数据以指定的分区字段将数据存储到表目录的不同文件夹下

分桶表将表数据最终记录在文件当中默认情况下只会存在一个文件记录分桶表可以指定表数据以指定的字段按照hash分区机制将数据存储到不同的文件中

数据表常用字段类型

基本类型集合处理整数型数组类型浮点数型map类型字符串struct类型布尔类型时间类型

主键约束

table_name修改数据表修改数据表的名字、字段名、字段的类型、增加分区、删除分区、修改表的talproperties

删除数据表

管理表数据的语言主要用来负责增加、删除、修改表数据。

【Hive存放的数据是海量的大数据】

在hive中不支持删除部分数据或者是修改数据只支持增加或者删除所有数据或者删除某一个分区的数据

2.2.1

根据一个文件将一个文件的数据直接装载到Hive的数据表当中要求文件的分隔符必须和创建表的时候指定的分隔符一致

LOAD

...)]如果数据文件是在HDFS上会把源文件移动到数据表的所在目录下

2.2.2

Hive不支持删除部分数据只支持清空表数据或者删除某一个分区的数据

清空表数据/某个分区

Hive中底层是以文件的形式在HDFS上进行数据存放因此Hive在向表中增加数据可以使用文件的形式进行数据的导入同时Hive一般做统计分析的统计分析的结果一般都是一个指标表指标表的数据我们一般会导出到MySQL或者HDFS用作下一步的数据可视化或者数据挖掘使用。

数据导入

“文件的位置”import命令—结合export命令使用一般是用于Hive的跨版本、跨集群的复制备份操作

数据导出

/user/hive/warehouse/export/student;

sqoop软件实现将hive中的数据和RDBMS关系型数据库之前的数据进行来回迁移

2.3

DQL语言是一个数据操作语言Hive提供的DQL语言是Hive实现统计分析的核心。

hive可以通过DQL语言的基本连接查询、条件查询、分组查询等等操作可以实现我们以前MR程序复杂的计算逻辑。

2.3.1

Hive的HQL的复杂查询语句底层会转换成为MR程序进行运行查询的过程中如果我们需要对查询的结果进行排序那么我们可以使用order

by进行排序order

那么HQL语句转换的MR程序底层的reduce任务只有一个这样的话会把所有的map任务的数据拉取过来输出一个结果文件结果文件全局有序。

全局排序因为只有一个reduce任务如果处理数据量过多那么就会导致reduce计算缓慢甚至崩溃

局部排序sort

对HQL语句转换的MR程序可以指定多个reduceTask,然后map输出的数据会按照hash分区机制随机分区sort

by排序

by使用的时候必须指定设置reduceTask的任务数大于1如果1那么sort

by和order

by排序的时候不负责分区的数据到底如何划分每一个分区的数据我们无法控制。

Distribute

分区字段

By的分区字段对数据进行分区分区字段的hash码和reduce任务个数取余数在按照排序字段对每隔分区的数据进行排序设置reduceTask的任务数

CLUSTER

offset,num从第offset条数据开始查询回来num条数据

offset从0开始

【注意】分区表特殊在存储上以分区字段值为文件夹形式进行存放使用的时候可以当作表字段来使用

连接查询

使用场景查询的数据来自于多张数据表并且多张数据表存在“外键”关系。

Hive和MySQL一样

出现效果就是a表的每一条数据和b表的每一条数据都匹配上了产生原因没有写连接条件或者连接条件写错了

联合查询

all不会去重数据限制多条查询语句的查询列表查询列表的个数、类型和顺序必须保持一致

子查询

和MySQL的子查询一模一样的查询里面嵌套了一个查询子查询可以出现from子语句、where子语句…

2.3.2

UDF函数一对一函数输入一个数据输出一个数据UDTF函数一对多函数输入一个数据输出多个数据UDAF函数多对一函数输入多个数据输出一个数据自定义函数侧视图函数专门用来搞笛卡尔乘积的

三、启动脚本

stop...stop-dfs.shstop-yarn.shmapred

--daemon