#x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一…大数据学习

系列专栏

维度数据库OLTP数据仓库OLAP用途处理实时交易增删改查支持历史数据分析与决策数据模型第三范式避免冗余星型

答题要点强调数据仓库的主题性、集成性、稳定性、时变性四大特性。

ODS操作数据层原始数据镜像保持数据原貌。

DWD明细数据层清洗去重

脱敏、标准化统一字段命名。

DWS汇总数据层按主题聚合如用户日活按地域汇总。

ADS应用数据层直接服务于业务报表或

API。

追问为何需要分层答解耦业务逻辑、避免重复计算、提升可维护性。

星型模型事实表直接关联维度表冗余高、查询快适合报表场景。

雪花模型维度表进一步规范化冗余低、维护复杂适合

OLAP

分析。

案例电商订单分析优先用星型模型因查询性能更重要金融风控数据因合规要求高可用雪花模型。

二、建模与设计实践

“每日订单汇总”。

关联维度时间、用户、商品、地域等。

确定度量订单金额、数量、折扣等。

示例电商订单事实表粒度为

SCD1覆盖旧值不保留历史如用户最新手机号。

SCD2新增记录保留历史如用户地址变更时插入新行。

SCD3用字段记录新旧值如

“当前部门”

原理通过start_date和end_date标记数据有效期每日仅更新变化记录。

场景客户信息、产品档案等变更频率低但需保留历史的维度表。

示例

SQL

处理通过MERGE语句比较源数据与目标表新增记录时标记旧记录end_date。

拉链表更新每日扫描变化数据关闭旧记录有效期并插入新记录。

数据仓库中如何优化大表

Shufflejoin(broadcast(smallTable))。

分区裁剪在

WHERE

SQL内存计算适合实时分析分钟级响应支持流处理Structured

Hive用户行为实时分析用

磁盘故障导致写入失败与预防措施增加磁盘监控告警。

临时解决方案如手动重跑任务、使用备份数据。

查看日志YARN

任务日志、ETL

表。

湖仓一体融合数据湖存储原始数据与数仓结构化分析支持流式写入与

SQL

数据源Kafka日志、Canal数据库变更。

计算层Flink实时

ETL、Spark

Streaming准实时。

存储层HBase明细数据、ClickHouse聚合查询。

应用层实时报表Superset、实时告警规则引擎。

元数据管理用

冷存储层-Ddfs.storage.policyCOLD。

压缩与分桶用

ORC