二、数据描述

本数据集包含了2017-09-11至2017-12-03之间有行为的约5458位随机用户的所有行为#xff08;行为包括点击、购买、加购、喜欢#xff09;。

数据集的每一行表示一条用户行为#xff0c;由用户ID、商品ID、商品类…一、环境要求

HadoopHiveSparkHBase

本数据集包含了2017-09-11至2017-12-03之间有行为的约5458位随机用户的所有行为行为包括点击、购买、加购、喜欢。

数据集的每一行表示一条用户行为由用户ID、商品ID、商品类目ID、行为类型和时间戳组成并以逗号分隔。

关于数据集中每一列的详细描述如下具体字段说明如下

列名称

/data/userbehavior/UserBehavior.csv

2.数据清洗

org.apache.hadoop.hive.hbase.HBaseStorageHandler

withserdeproperties(hbase.columns.mapping:key,info:item_id,info:category_id,info:behavior_type,info:time)

tblproperties

(hbase.table.nameexam202010:userbehavior);

insert

userbehavior_partitioned按照日期进行分区

userbehavior

hive.exec.dynamic.partitiontrue;

set

hive.exec.dynamic.partition.modenonstrict;

insert

user_id,item_id,category_id,behavior_type,from_unixtime(time)

time,from_unixtime(time,yyyy-MM-dd)

from

sc.textFile(hdfs://kb135:9000/data/userbehavior)

1统计

fileRdd.map(xx.split(,)).filter(_.length5).map(xx(0)).distinct().count

res1:

fileRdd.map(xx.split(,)).filter(_.length5).groupBy(xx(0)).count

res2:

fileRdd.map(xx.split(,)).filter(_.length5).map(x(x(3),1)).reduceByKey(__).collect.foreach(println)

(cart,30888)

fileRdd.map(xx.split(,)).filter(_.length5).map(x(x(3),1)).groupByKey().map(x(x._1,x._2.toList.size)).collect.foreach(println)

(cart,30888)

为当前日期计算时间范围为一个月计算用户最近购买时间时间的区间为

0-30

user_id,datediff(2017-12-03,max(dt))

diff,max(dt)

为当前日期计算时间范围为一个月计算用户的消费次数用户中消费次数从低到高为

1-161