DWD

空值去除过滤核心字段无意义的数据#xff0c;比如订单表中订单

nul…1.

为空对手机号、身份证号等敏感数据脱敏对业务数据传过来的表进行维度退化和降维。

将用户行为宽表和业务表进行数据一致性处理

sql

具体宽表名称用户行为宽表用户购买商品明细行为宽表商品宽表购物车、宽表物流宽表、登录注册、售后等。

2.、哪个宽表最宽大概有多少个字段

通常是指ods表的同⼀个业务⽇期数据中包含了前⼀天或后⼀天凌晨附近的数据或者丢失当天变更的数据这种现象就叫做漂移解决数据漂移方法

两种方案

数据库表中⽤来标识数据记录更新时间的时间戳字段假设这类字段叫modified

time

。

数据库⽇志中⽤来标识数据记录更新时间的时间戳字段·假设这类宇段叫

log_time。

数据库表中⽤来记录具体业务过程发⽣时间的时间戳字段

假设这类字段叫

proc_time。

标识数据记录被抽取到时间的时间戳字段假设这类字段

extract

做升序排序那么第⼀条数据也就是最接近当天记录变化的。

最后将前两步的数据做全外连接通过限制业务时间

proc_time

有个关于bds项目日增数据约6.5T约100亿左右数据。

通过清洗输出不同5大维度8

种粒度的依赖视图以及相关的报表汇总统计。

过程遇到了不少坑。

在一些数据量大的场景下很容易把一些潜在的问题就容易暴露出来现总结如下

get_json_object()

对象变量第二个参数使用表示json变量标识然后用.或[]读取对象或数组定义该方法只能接受两个参数如果想要查看多个值只能多写几个示例selectgetjsonobject(′name:linda,server:www.baidu.com′,′表示json变量标识然后用.或[]读取对象或数组

示例select

get_json_object({name:linda,server:www.baidu.com},表示json变量标识然后用.或[]读取对象或数组定义该方法只能接受两个参数如果想要查看多个值只能多写几个示例selectgetj​sono​bject(′name:linda,server:www.baidu.com′,′.server’)

输出结果

json_tuple(’{“name”:“linda”,“server”:“www.baidu.com”}’,‘server’,

‘name’)

json_tuple()。

假如要从一张stg层表中将json字符串解析成对相应的字符串假设有10个字段那么get_json_object()方法相当于一条记录使用

次函数而

json_tuple()方法只是使用了一次进行了批量解析这种方式明显更高脑补下

JVM

的知识点。

另外确认是否所有的字段都有必要解析解析的字段越多意味着序列化和反序列化以及解析的工作量这都是很消耗

CPU

主要是求用户是否在某个省份达到出现次数标准的进度比如说小a在石家庄出现2次在保定出现

次。

所以在河北出现的标准次数为8次而小a达标的次数分别为2次和4次超过标准按照标准统计所以小a在河北出现的次数进度为67%。

针对以上数据量目前想到的方案有以下三种

方案一拆分数据、分散资源建立多个计算

表的计算过程中进行聚合直接输出用户到省份维度省略用户对城市的维度A

表得不到用户对城市维度的明细数据对与数仓建设和后期数据维护不友好但是对于本次项目的统计确实性能得到很好的提升。

如果效果不好的话可以再重复方案一在用户对省份维度上建立分区。

方案三维度直接汇总到最高用户维度建立数组存储省份信息最大粒度减小数据量。

1涉及到的底层表聚合到用户维度其余对应的城市和次数字段做成数组进行存储。

建立以

user_id

的表最大限度的满足当前需求但是不利于数仓基础表的维护再做新需求利用到同样数据源还需要进行同样的操作

对所有汇总到用户维度的底层表进行解析数组然后进行关联再计算。

针对以上方案如果既需要满足本需求又有利于数仓建设的话推荐方案一如果是敏捷开发满足此需求的话推荐方案三对于数据集市建设如果没必要细致到用户到城市维度的话建议方案二三种方案各有利弊具体选择需要根据实际情况定夺。