3#xff09;Delta_commit:增量提交指的是将一批记录原子地写入MergeOnRead类型表#xff0c;其中一些/所有数据都可以写入增量日志。

3Delta_commit:增量提交指的是将一批记录原子地写入MergeOnRead类型表其中一些/所有数据都可以写入增量日志。

5Rollback:Commits或者Delta_commit执行不成功时回滚数据删除期间产生的任意文件。

每次checkpoint时都会把缓存中数据刷盘生成deltacommit

文件增量日志和commit文件每n次deltacommit或者每n秒做一次压缩操作,触发压缩时也会触发clean操作压缩是将coimmit文件压缩可以设置最大压缩的IO大小

Commit提交文件在Hudi中commit文件是用于记录数据写入操作的元数据文件。

每次写入数据时Hudi会生成一个commit文件其中包含了写入数据的时间戳、数据文件的路径等信息。

Commit文件的存在可以确保数据的一致性和可恢复性。

DeltaCommit增量提交文件DeltaCommit文件是用于记录增量数据写入操作的元数据文件。

增量数据是指在已有数据的基础上进行的更新、插入或删除操作。

每次进行增量操作时Hudi会生成一个DeltaCommit文件其中包含了增量操作的元数据信息。

DeltaCommit文件的存在可以追踪到增量操作的历史以便在需要时进行回滚或恢复。

Clean清理文件Clean文件是用于记录数据清理操作的元数据文件。

当Hudi需要清理或删除过期或无效的数据时会生成一个Clean文件其中包含了要清理的数据文件的路径等信息。

Clean文件的存在可以确保数据的清理操作被记录和跟踪。

1.开始提交判断上次任务是否失败如果失败会触发回滚操作。

然后会根据当前时间生成一个事务开始的请求标识元数据。

2.构造HoodieRecord

Rdd对象Hudi

对象方便后续数据去重和数据合并。

3.数据去重:一批增量数据中可能会有重复的数据Hudi会根据主键对数据进行去重避免重复数据写入Hudi

表。

4.数据fileId位置信息获取:在修改记录中可以根据索引获取当前记录所属文件的fileid在数据合并时需要知道数据update操作向那个fileId文件写入新的快照文件。

5.数据合并Hudi

有两种模式cow和mor。

在cow模式中会重写索引命中的fileId快照文件在mor

模式中根据fileId

文件。

6.完成提交在元数据中生成xxxx.commit文件只有生成commit

数据合并到xxx.parquet

元数据才能进行查询所以hive元数据同步就是构造外表提供查询。

https://download.csdn.net/blog/column/11942229/126891750

数据湖三Hudi概念术语

Hudi系列16:Hudi核心参数_hudi文档的配置-CSDN博客