什么是 Ingest？

RocksDB 的 ingest，完整名字通常叫 DB::IngestExternalFile。再看它做的事情是，

普通写入流程的观点是，

Put / Write -> WAL -> MemTable -> Flush 到 L0 -> Compaction 往下推

而 ingest 的流程：

离线生成 SST -> IngestExternalFile -> 直接接入 LSM-tree 的某一层

主要价值这方面。

注意事项

• ingest 并非“无成本导入”，也不一定直接进最底层。怎么说呢，
• 会根据 key range、sequence number、memtable、已有 SST 文件、正在运行的 compaction。选择一个安全的 level。

为什么需要 ingest？

痛点1：写性能极低

1. 每条数据都要走 MemTable；
2. MemTable flush 后一般先生成 L0 文件；怎么说呢，
3. L0 文件多了会触发 compaction；
4. L0 打爆后后台 compaction 会抢 IO，导致前台业务出现 write stall。

痛点2：导入大批量数据时 I/O 与 CPU 成本高昂。

如果这些数据本来已经是有序的或可以在线下排序，就没必要一条条写进 MemTable。可以先生成标准 SST，再直接 ingest。节省大量 I/O 与 CPU 开销。

批量导入

外部程序导出一批 key-value → 离线排序 → 生成 SST → ingest 到 RocksDB。这比逐条 Put 更像批处理方法。

数据迁移

A 节点导出某段 key range 的 SST → 传输到 B 节点 → B 节点 ingest。话说回来，适合分片或 region 移动。

快照恢复

A 副本落后很多。重新追日志成本太高，可以直接应用快照。其实，快照里的数据可以组织成 SST。接下来 ingest 到本地 RocksDB，效率远高于逐条回放日志。

历史数据回填

• 普通 ingest：新 data 覆盖旧 data；
• ingest_behind：只填空白，不覆盖已存在的新 data。话说回来，

怎么生成一个可被 ingest 的 SST？

rocksdb::SstFileWriter writer,options);Status s = writer.Open;assert)，writer.Put;writer.Put，writer.Put;s = writer.Finish;assert)，IngestExternalFileOptions ifo;说起来，s = db->IngestExternalFile;assert)，

a. Key 必须按 comparator 严格递增

b. Comparator 必须一致

IngestExternalFile 内部大概做什么？

• `move_files=true` 尽量移动文件，而不是复制；这能减少大文件复制成本，但需保证原方法文件不再被使用，而且跨文件程序可能失败。生产环境里需配合文件生命周期管理设计！其实，