con…1.

收集某个字段的值进行去重汇总产生Array类型即将某列数据转换成数组

原数据

cb,concat_ws(,,collect_set(name))

names

explode(col)将hive一列中复杂的array或者map结构拆分成多行。

explode(ARRAY)

map中每个key-value对生成一行key为一列value为一列

select

explode等UDTF一起使用。

explode能够将一列数据拆分成多行形成一张临时表与原表进行聚合

select

name,orderdate,cost,row_number()

over

按花费金额由多到少排序相等的排名会留下空位dense_rank()

over

name,orderdate,cost,lag(orderdate,1)

over(partition

上一次购买日期(往前第n行数据)lead(orderdate,1)over(partition

month(orderdate)

hive中内置的json_tuple()函数可以将json数据解析成普通的结构化数据表

源数据

{movie:1193,rate:5,timeStamp:978300760,uid:1}

{movie:661,rate:3,timeStamp:978302109,uid:1}

{movie:914,rate:3,timeStamp:978301968,uid:1}

{movie:3408,rate:4,timeStamp:978300275,uid:1}

{movie:2355,rate:5,timeStamp:978824291,uid:1}

{movie:1197,rate:3,timeStamp:978302268,uid:1}执行脚本

create

/export/data/datawarehouse/movie.txt

overwrite

json_tuple(json,movie,rate,timeStamp,uid)

(movie,rate,ts,uid)