。

锁屏面试题app、小程序现已上线#xff0c;官网地址#xff1a;https://www.demosoftware.cn。

已收录了每日更新的面试题的所有内容#xff0c;还包含特色的解锁屏幕复习面试题、每日编程题目邮件推送等功能。

让你…

锁屏面试题百日百刷每个工作日坚持更新面试题。

锁屏面试题app、小程序现已上线官网地址https://www.demosoftware.cn。

已收录了每日更新的面试题的所有内容还包含特色的解锁屏幕复习面试题、每日编程题目邮件推送等功能。

让你在面试中先人一步!接下来的是今日的面试题

1.Hive

将行的集合存储在一个文件中并且集合内的行数据将以列式存储。

采用列式格式

2、当查询时会查询特定列而不是查询整行因为记录是以列式存储的。

3、ORC

整型占用4个字节存储范围-2147483648到2147483647。

BIGINT–

Structs一组由任意数据类型组成的结构。

比如定义一个字段C的类型为STRUCT

INT;

Maps一组无序的键/值对。

键的类型必须是原子的值可以是任何类型同一个映射的键的类型

必须相同值得类型也必须相同

按照数据表的某列或某些列分为多个分区分区从形式上可以理解为文件夹比如我们要收集某个大型网站的日志数据一个网站每天的日志数据存在同一张表上由于每天会生成大量的日志导致数据表的内容巨大在查询时进行全表扫描耗费的资源非常多。

那其实这个情况下我们可以按照日期对数据进行分区不同日期的数据存放在不同的分区在查询时只要指定分区字段的值就可以直接从该分区查找。

分区是以字段的形式在表结构中存在通过describe

table命令可以查看字段存在但是该字段不存放实际的数据内容仅仅是分区的表示。

静态分区

hive.exec.dynamic.partitiontrue;

设置为nonstrict表示允许所有分区都是动态的默认为strict

set

hive.exec.dynamic.partition.modenonstrict;

insert

静态分区与动态分区的主要区别在于静态分区是手动指定而动态分区是通过数据来进行判断。

详细来说

静态分区

hive.exec.dynamic.partition.modenonstrict

通过普通表选出的字段包含分区字段分区字段放置在最后多个分区字段按照分区顺序放置。

2.分桶

分桶是相对分区进行更细粒度的划分。

分桶将整个数据内容安装某列属性值得hash值进行区分如果按照name属性分为3个桶就是对name属性值的hash值对3取模按照取模结果对数据分桶。

如取模结果为0的数据记录存放到一个文件取模为1的数据存放到一个文件取模为2的数据存放到一个文件。

CREATE

对于每一个表table或者分区可以进一步组织成桶也就是说桶是更为细粒度的数据范围划分。

Hive也是针对某一列进行桶的组织。

Hive采用对列值哈希然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

把表或者分区组织成桶Bucket有两个理由

桶为表加上了额外的结构Hive在处理有些查询时能利用这个结构。

具体而言连接两个在包含连接列的相同列上划分了桶的表可以使用Map端连接Map-side

join高效的实现。

比如JOIN操作。

对于JOIN操作两个表有一个相同的列如果对这两个表都进行了桶操作。

那么将保存相同列值的桶进行JOIN操作就可以可以大大减少JOIN的数据量。

2)使取样sampling更高效在处理大规模数据集时在开发和修改查询的阶段如果能在数据集的一小部分数据上试运行查询会带来很多方便。