武汉唯众智创科技有限公司

dws_behavior_log的外部表如果表已存在则先删除分区字段为dt即根据日期进行分区另外要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录存储文件类型为“orc”文件的压缩类型为“snappy”字段类型如下表所示

字段类型表

comm.dws_behavior_log(client_ip

string,device_type

(orc.compressSNAPPY);2启动Hive的动态分区功能并将Hive设置为非严格模式

set

hive.exec.dynamic.partitiontrue;

set

hive.exec.dynamic.partition.modenostrict;3使用insert

overwrite

…子句将dwd_behavior_log表中数据插入分区表dws_behavior_log中并实现根据dt进行动态分区

答insert

4查看dws_behavior_log表的所有现有分区、前3行数据并统计统计表数据总行数

SHOW

dws_behavior_log;5在comm数据库下创建一个名为dim_date的外部表如果表已存在则先删除另外要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录字段分隔符为

“\t”

语句让Hive读取外表数据时跳过文件行首表头字段类型如下表所示

字段类型表

(skip.header.line.count1);6在comm数据库下创建一个名为dim_area的外部表如果表已存在则先删除另外要求指定表的存储路径为HDFS的/behavior/dim/dim_area目录字段分隔符为

“\t”字段类型如下表所示

data子句将本地/root/eduhq/data目录下的“dim_date_2023.txt”和“dim_area.txt”文件分别加载到外部表dim_date和dim_area中

load

/root/eduhq/data/dim_date_2023.txt

into

comm.dim_area;8分别查看外部表dim_date和dim_area的前3行数据

select

3;9分别统计外部表dim_date和dim_area数据总行数

select

comm.dim_area;10统计不同省份用户访问量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下并指定列的分隔符为逗号特别注意因为省份是随机获取的所以结果会有所差异

insert

/root/eduhq/result/ads_user_pro

ROW

province;11统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour

答insert

/root/eduhq/result/ads_visit_mode

ROW

13不同网站的上网模式统计将统计结果导出到本地文件系统的/root/eduhq/result/ads_online_type

/root/eduhq/result/ads_user_pro

/root/eduhq/result/ads_user_region/root/eduhq/result/ads_user_hour

/root/eduhq/result/ads_hol_work_user/root/eduhq/result/ads_visit_mode

/root/eduhq/result/

ads_online_type/root/eduhq/result/ads_user_domain

⚫背景地址/root/eduhq/images/img_2.png

二任务二业务分析

1统计每天不同经济大区用户访问量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_region下并指定列的分隔符为逗号

insert

/root/eduhq/result/ads_hol_work_user

ROW

day_type;3统计不同域名的用户访问量将统计结果导出到本地文件系统的

/root/eduhq/result/ads_user_domain目录下并指定列的分隔符为逗号

CREATE

/root/eduhq/result/ads_user_domain

ROW

DATE_FORMAT(REGEXP_REPLACE(visit_date,

-),

欲了解更多信息欢迎登录www.whwzzc.com,咨询电话13037102709

*本资料产品图片及技术数据仅供参考如有更新恕不另行通知具体内容解释权归唯众所有。