加上if

1.一般创建好的数据库都不会去修改数据库如果要修改数据库也是修改创建的时间

alter

dbproperties(createtime20220531);

1.3

如果数据库不为空使用cascade命令进行强制删除。

报错信息如下FAILED:

Execution

org.apache.hadoop.hive.ql.exec.DDLTask.

InvalidOperationException(message:Database

db_hive

/bigdata29/bigdata29db/students/

2.如果hdfs中

/bigdata29/bigdata29db/students/

3.6.2

但是bigdata29/data/students.csv文件没有了

4.load

/usr/local/soft/bigdata29/students.csv

into

2.当设置表路径的时候如果直接指向一个已有的路径,可以直接去使用文件夹中的数据

而且数据一旦被load就不能被修改

我们查询数据也是查询文件中的文件,这些数据最终都会存放到HDFS

4.2外部表

3.外部表因为是指定其他的hdfs路径的数据加载到表中来所以hive会认为自己不完全独占这份数据

导出数据

/usr/local/soft/bigdata29/person_data

select

/usr/local/soft/bigdata29/grade2.txt

into

3.加载数据的时候一定要把分区要确定好不能不是这个分区的内容加入到这个分区里面

6.1.2

/usr/local/soft/bigdata29/grade22.txt

into

/user/hive/warehouse/bigdata29.db/t_teacher/grade3/clazz1;

6.1.5

静态分区与动态分区的主要区别在于静态分区是手动指定而动态分区是通过数据来进行判断。

详细来说静态分区的列是在编译时期通过用户传递来决定的动态分区只有在SQL执行时才能决定。

6.2.1

分区提供了一个隔离数据和优化查询的便利方式不过并非所有的数据都可形成合理的分区尤其是需要确定合适大小的分区划分方式

不合理的数据分区划分方式可能导致有的分区数据过多而某些分区没有什么数据的尴尬情况

分桶就是将数据按照字段进行划分可以将数据按照字段划分到多个文件当中去。

(都各不相同)

7.2

Hive采用对列值哈希然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

bucket

hash_function(bucketing_column)

mod

使取样sampling更高效。

在处理大规模数据集时在开发和修改查询的阶段如果能在数据集的一小部分数据上试运行查询会带来很多方便

提高join查询效率

在处理有些查询时能利用这个结构。

具体而言连接两个在包含连接列的相同列上划分了桶的表可以使用

Map

join高效的实现。

比如JOIN操作。

对于JOIN操作两个表有一个相同的列如果对这两个表都进行了桶操作。

那么将保存相同列值的桶进行JOIN操作就可以可以大大较少JOIN的数据量。

7.4

2.分区的在hdfs上面表示的是一个文件夹分桶表示的是一个文件

3.分区的依据是通过指定分区的字段的值来进行分区的分桶是指定分桶的字段的哈希值除以桶的个数取余来进行分桶的

Idea连接Hive

{//加载驱动Class.forName(org.apache.hive.jdbc.HiveDriver);//创建与hive的连接对象Connection

conn

DriverManager.getConnection(jdbc:hive2://master:10000/bigdata29);//创建操作hive的对象Statement

state

conn.createStatement();ResultSet

resultSet

resultSet.getString(4);System.out.println(empno,

hiredate,