关于数仓分层#xff0c;在面试过程中几乎是必问的。

不过#xff0c;面试官一般也不会直接考你数仓为什么要分层#xff0c;而是在你介绍项目时#xff0c;可能会换一种形式来穿插着问#xff0c;比如数据链路为什么要这样设计#xff0c…大家好我是大D呀。

关于数仓分层在面试过程中几乎是必问的。

不过面试官一般也不会直接考你数仓为什么要分层而是在你介绍项目时可能会换一种形式来穿插着问比如数据链路为什么要这样设计这些指标为什么不能在一张表里开发。

那么这个时候你就要结合着自己实际项目聊一下数仓分层的理论了。

为了让回答显得更体系化可以把数仓分层的原因、有哪些好处以及是如何进行划分的都讲一讲。

首先你要明白数仓存在的意义是什么数仓产出的分析指标理论上在业务系统侧也都能产出那么还要数仓干什么呢。

数仓的作用就是将企业所有业务系统的数据收集起来然后再对这些数据集进行分析处理为决策层和运营部提供数据服务。

但是在分析处理中由于数据规模和数据量比较大分析维度有很复杂放在一起处理对于开发和运维成本都很大。

于是才有了数仓分层的概念。

紧接着对数仓分层都带来哪些好处展开讲讲这里要注意一定要分点回答先别管全面不全面至少让面试官觉得你的回答很有条理而不是让他从你含糊的回答中梳理出123来。

将复杂问题简单化。

将一个复杂的业务加工逻辑拆解成多个步骤来分步完成每一层只聚焦于某一类问题。

当数据出现问题时通过追溯可以很快定位到问题出现在哪一层并且只需要对这一层逻辑修复即可。

用空间换时间。

数据存储持久化减少重复开发节省计算资源提高数据的复用性。

比如将稳定且通用的加工逻辑下沉到某一层下游在使用时可以直接引用而无须重复计算。

清晰数据血缘。

将复杂的数据关系梳理成条理清晰的数据模型建设思路与数据血缘比较清晰方便协调开发以及问题定位。

比如还可以多扩展一些比如屏蔽业务系统影响提高数据稳定性对数据权限精细化管控提升数据安全。

3、数仓该如何分层

数据分层的划分方式或者层次名称在不同公司或者业务线可能不太一样这块考察更多的是你对分层的理解哪一层聚焦在解决什么问题以及不解决什么问题一定要把划分的依据和边界讲清楚。

下面讲一下数仓分层在阿里的划分方式数据模型分三层ODS层、CDM层、ADS层。

其中CDM层又可细分为DWD层、DIM层、DWS层。

1、ODS层贴源层

数据源是业务数据库每天的抽取方式可以通过Canal监听Mysql的Binlog日志的方式将业务系统数据几乎无处理地回放同步到数据仓库中结构上与系统侧保持一致。

这一层要解决的问题是屏蔽系统侧影响为后续数仓建设提供业务过程中最原始最细粒度的基础数据。

2、CDM层公共维度模型层

这一层是对ODS层进行剔除脏数据、统一单位、规范注释等处理提供干净和标准的数据。

同时为了提高明细层的易用性该层会采用一些维度退化手法将维度退化至事实表中减少事实表和维表的关联提供明细数据表的易用性。

比如对于订单这样量级很大的维度没有必要用一张维度表来存储就可以将订单ID的订单类型、下单渠道等维度属性冗余到事实表中。

但是也要考虑实际业务场景对于不稳定的维度比如商品类目建议不要做退化否则会带来很大的刷数成本。

DIM层维度层

维度是衡量和观察业务的角度这层基于维度建模理论建立整个企业或者业务线上的一致性维度建降低数据计算口径和算法不统一的风险。

DWS层汇总数据层

这层一般根据维度数据和明细数据加工生产的基于一些分析场景、分析实体对DWD层数据按照各类维度进行粗粒度地汇总聚合采用更多的宽表化手段物化模型构建公共指标数据层提升公共指标的复用性减少重复加工。

ADS层应用层

这层存放数据产品个性化的统计指标指数型、比值型、排名型数据作为产品特有的个性化指标一班不对外提供数据服务。

4、层次调用规范

ODS层只能被DWD层调用DWD层可以被DWS层和ADS层调用DWS层只能被ADS层调用。

数据调用服务优先使用CDM公共层数据当公共层没有数据时需要评估是否需要创建公共层数据当不需要建设时方可直接使用ODS层数据。

5、思考

面试中一定要突显出自己对建模理论和应用实践过程的思考回答出以上理论只是及格分和其他候选人的区别一定是体现在自己的个人思考之上的。

无论是数仓分层原则还是层次调用规范都要结合具体的业务场景和业务特点进行建设不要为了分层而分层也不要束缚于各种规范。

如果你搭建的数仓模型都是按照规范来的没有反规范的特殊处理只能说明做的不够深入换做同阶或低阶的同学也能做出来就体现不出其复杂度和模糊度了。

所以在回答该问题时一定要结合着实际操练的项目对遇到的困难和挑战点把如何通过规范或者反规范的方式解决的过程和思考讲出来才能获得加分项更能突显自己。