（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比率，较高的，此处选择gzip。

CompressedStorage

（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构。

（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比率，较高的，此处选择gzip。

CompressedStorage

的表中。

系统会自动检测压缩格式，并在查询执行时即时解压缩文件。

大数据场景需要海量的数据，因为数据量足够大，分析出来的结果更即准确。

（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。

5.8.1日志表

存储从MySQL业务数据库和日志服务器的日志文件中采集到的数据

日志数据：JSON格式

全量：DataX，TSV格式，"fieldDelimiter":

"\t",

压缩：列式存储压缩起来比较方便，因为行存不能保证一行的数据类型是一致的，不同类型的数据采用的压缩算法和效率不一样，列式存储可以保证一列的数据类型一致，因此列式存储在压缩效率上会高一些。

gzip：Hadoop默认支持，压缩率极高，压缩速率（压缩、解压缩）低

lzo：Hadoop默认不支持，需要额外的jar包，压缩率高，压缩速率居中，支持切片（额外索引）

snappy：Hadoop默认不支持，需要额外配置，压缩率低，压缩速率极高

压缩方式的选择：gzip，ODS层主要功能为存储，不需要计算，因此对压缩速率要求不高，反而对压缩率要求高（更少的空间存更多的数据）

数据压缩格式尽可能保持不变（采集通道采用gzip压缩，这里也选择gzip压缩）

命名规范

在数据仓库中，表其实都是放置在一起的，从逻辑上进行区分，进行分层

表从名称上区分每一层

EXTERNAL，创建外部表，目的是在测试阶段可能会频繁修改表结构来验证问题，

如果使用内部表，删除表的时候会删除数据，因此为了避免重复上传测试数据，采用外部表，外部表在删除表的时候数据不会删除。

PARTITIONED

BY：底层采用很多文件进行保存大量数据，一旦文件大数据多时会影响查询效率，可以通过建立分区的操作，提高查询效率。

hive的分区表，实际是在表，子的划分，不会存储到数据文件中。

虽然分区字段只是用来区分子目录的，但是在管理表的时候会当作字段来处理，因此在插入数据到分区表的时候需要补充分区字段。

create

这样写容易让人产生一个表有两个字段的错觉，可以换成下面的写法：

insert

分区字段不赋值，查询字段在最后增加一个额外的字段用于分区操作。

insert

默认情况下，hive没有开启动态分区处理（strict），需要设置为非严格模式（nonstrict）

set

hive.exec.dynamic.partition.mode=strict;

set

hive.exec.dynamic.partition.mode=nonstrict;

insert

严格限定查询语句中必须带分区字段的筛选条件，否则不能执行Query，因为数据量太大。

set

hive.strict.checks.no.partition.filter

false

'org.apache.hadoop.hive.serde2.JsonSerDe'，才能正常解析JSON

如果Hive表可以解析JSON格式的数据，那么一般就称之为JSON表

（2）如果JSON属性少于表的字段，那么存在的属性可以正常解析，不存在的字段设置为空null

表的字段没有一一对应，但是查询的时候也不会报错，能正常解析的就正常解析，解析不了的用“null”补充。

{"name":

'org.apache.hadoop.hive.serde2.JsonSerDe'

LOCATION

'obs://bigdata-test1233/seven/warehouse313/gmall/test_log';

建表完成之后，将编写好的json文本复制到表路径下，就可以正常查询了

select

JSON表中存在JSON嵌套的情况，一般会将最外层的JSON对象的属性作为JSON表的字段

common

表的字段类型应该采用特殊类型：array，map，struct

（3）array：使用[]

超出索引长度，不会报错，而是用null补充array(ids[1],ids[2])

new_array,

可以取出数组的一部分组成新的数组array_contains(ids,

'e')

判断元素是否存在于数组中：array_contains(数组名，元素)

from

判断元素是否存在于数组中：array_contains(数组名，元素)

from

构建结构体的函数：struct()，会将所有数据作为属性值存储，属性名用col1...coln

select

返回：{"col1":"a","col2":"b","col3":"c"}

select

（1）泛型，可以根据数据的类型来选择使用map还是struct，如果数据类型要求一致，选择map，如果数据类型不一致，选择struct。

（3）map中的key的数量不是固定的，可以动态改变；而结构体的属性不能变化

1）建表语句

'org.apache.hadoop.hive.serde2.JsonSerDe'

LOCATION

'/warehouse/gmall/ods/ods_log_inc/'

TBLPROPERTIES

('compression.codec'='org.apache.hadoop.io.compress.GzipCodec');

DROP

ARRAYSTRUCTaction_id:STRING,item:STRING,item_type:STRING,ts:BIGINT

COMMENT

STRUCTerror_code:BIGINT,msg:STRING

COMMENT

'org.apache.hadoop.hive.serde2.JsonSerDe'

LOCATION

'obs://bigdata-test1233/seven/warehouse313/gmall/ods/ods_log_inc/'

TBLPROPERTIES

('compression.codec'='org.apache.hadoop.io.compress.GzipCodec');

2）数据装载

'/origin_data/gmall/log/topic_log/2022-06-08'

into

'obs://bigdata-test1233/origin_data/gmall/log/topic_log/2022-06-08/'

into

（1）在~/bin目录下创建hdfs_to_ods_log.sh

vim

如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天

"$1"

'obs://bigdata-test1233/origin_data/$APP/log/topic_log/$do_date'

into

'/warehouse/gmall/ods/ods_activity_info_full/'

TBLPROPERTIES

('compression.codec'='org.apache.hadoop.io.compress.GzipCodec');

活动规则表（全量表）

'/warehouse/gmall/ods/ods_activity_rule_full/'

TBLPROPERTIES

('compression.codec'='org.apache.hadoop.io.compress.GzipCodec');

一级品类表（全量表）