说起来，

Druid 实时数据摄入与持久化全链路深度分析

一、概述

这篇文章档基于 Apache Druid 源码。程序梳理了从数据写入 → 内存持久化 → 多 Segment 合并 → 数据字典合并 的完整数据处理链路。涵盖的主要类包括：

类名 职责 AppenderatorImpl 数据摄入入口，管理 Sink 和内存/持久化生命周期 Sink / FireHydrant 内存中的数据容器，管理 IncrementalIndex IndexMergerV9 将内存索引持久化为 V9 格式 Segment 文件 IncrementalIndexAdapter 将 IncrementalIndex 适配为 IndexableAdapter 接口 DictionaryEncodedColumnMerger 字典编码列的合并器 DictionaryMergingIterator 多路归并排序算法。合并多个排序字典 StringDimensionMergerV9 字符串维度的具体合并实现 FileSmoosher 将多个逻辑文件合并为少量物理文件

二、整体架构流程

InputRow 数据行 │ ▼ AppenderatorImpl.add │ ├── Sink 不存在 → 创建新 Sink + IncrementalIndex │ ├── sink.add → 写入 IncrementalIndex │ ├── 检查持久化触发条件 │ │ │ ├── 触发 → persistAll → persistHydrant │ │ │ │ │ ▼ │ │ IndexMergerV9.persist │ │ │ │ │ ▼ │ │ IncrementalIndexAdapter 适配 │ │ │ │ │ ▼ │ │ makeIndexFiles → 生成 V9 Segment 文件 │ │ │ └── 未触发 → 返回 AppenderatorAddResult │ ▼需要 push 时 │ ▼mergeAndPush │ ▼IndexMergerV9.mergeQueryableIndex │ ▼多 Segment 字典合并 │ ▼生成最终合并 Segment → push 到 Deep Storage

三、阶段一：数据写入

方法签名

 


);