当图片、视频、文本和向量在 Paimon 中增长到 PB 级。传统“同步到湖外再建索引”的方式会让搜索面临三大痛点：

• 数据就绪慢最新样本写入后还需全量读取、跨程序传输并重建索引，导致搜索落后于湖表版本。
• 第二份事实数据成本高湖表与搜索程序各自保存业务数据。增加存储成本，并长期维护增量同步、权限对齐与失败重试。
• 版本治理复杂Spark、Flink 与 StarRocks 能围绕同一份湖表完成加工与分析。但搜索仍依赖湖外副本，应用需在两套数据版本之间反复对齐。

. 数据入湖，索引如何“出湖”？

P B 级数据入湖后如何进入低延迟搜索？

Apache Paimon 正从流式湖表格式演进为面向 Data + AI 的统一多模态数据湖底座。已在生产环境验证超过 100PB 的存储规模；天猫每天还有近 10PB 的图像、音频和视频等多模态数据写入 Paimon。围绕这些数据，Flink负责 CDC 与实时入湖；Spark负责批量加工、特征与向量生成；StarRocks 等引擎提供交互式 OLAP 查询。如今的瓶颈不在 SQL 能否写，而在这条搜索链路能否在 PB 级数据上持续服务在线应用。

以具身智能训练样本湖为例：一次模型评测暴露了“机械臂抓取透明物体后滑落”的问题。其实，算法工程师需要从长期积累的视频中找到相似失败片段。同时检索操作指令与人工标注，并按模型版本、时间和复核状态过滤，再查看失败原因分布。一次请求必须组合视频向量召回、BM25 全文相关性、结构化过滤、排序、聚合和 RRF 融合，并保持稳定低延迟。不过，

主要痛点归结为：

• 查询时延高
• 同步成本高
• 搜索游离于 OpenLake 多引擎程序之外

Search Lake 要解决的是让 ES 直接挂载与 Paimon 表版本关联的 Global Index。无需复制事实数据即可提供 BM25、kNN 与结构化过滤等能力。不过，

湖内分析与在线搜索：不同访问方法的取舍

现有方案通常沿着两条方法展开：直接使用湖内分析引擎查询或把数据同步到湖外搜索程序。两条方法都能解决一部分问题，但各有执行目标与代价。

• 湖内分析方法：擅长 SQL、Join 与报表，但不适合高并发在线检索或多路召回融合。
• 湖外搜索方法：提供 BM25/kNN 等检索能力，但传统接入方式需要重新建立索引并维护第二份事实数据。

Narrowing down comparison: which system handles heavy online traffic efficiently while keeping data fresh?Search Lake chooses to keep search index on lake and let ES mount it directly.

P B级数据就绪：从全量复制到挂载湖上索引

以下示例展示 PB、TB 和 EB 三档规模下的传统离线导入 vs Search Lake mount 的就绪时间估算。

Search Lake 是 Paimon 与 Elasticsearch 联手建立的湖上搜索方案。客户可将与 Paimon 表版本关联的 Global Index 挂载为 ES 索引，通过熟悉的 Query DSL 获得全文检索、向量召回还有结构化过滤等能力。

• Paimon 表版本为准：Paimon 底层存储但 OSS/S3，DLF 管理目录及权限。
• 搜索索引留在湖上：Global Index 随表版本记录索引文件位置，无需为 ES 新增事实副本。
• ES 做接口桥梁：PaaS 风格调用 Query DSL，可按需回源业务字段与原始对象。

为什么 ES 适合作为湖上搜索入口？

• D 倒排 & BM25 提供全文相关性；doc values / bitset / query cache 支持结构化过滤/排序/聚合；HNSW / BBQ / DiskBBQ 支持不同规模向量召回；分片并行 + TopK 剪枝 + segment-level 执行 降低查询延迟；Query DSL / Kibana 等环境让结果更易进入应用。话说回来，

ES 将交互式查询压到百毫秒级

A 同一份 Cohere10M 数据集下对比 Spark SQL vs ES 挂载只读索引。两侧使用相同过滤条件/排序/返回行数，每组执行预热 & 测试。并对返回行数和规范化结果 SHA-256 校验。

	Spark p50	ES p50
Tops‑100 返回时序列化结果校验差距倍数

面向对象存储的向量索引方法

Paimon 将表数据及 Global Index 持久化于 OSS/S3 等对象存储中。若无针对性的索引方法，一次 Top‑K 向量查询会因随机读取 & 序列化而降至秒级/分钟级性能。DiskBBQ 在建立阶段通过压缩表示和聚类信息缩小候选范围，将高频元信息缓存至内存或本地缓存。其余候选列表及向量块留于对象存储，只读取少量块进行重排，从而显著降低 I/O 成本并调节延迟/召回/内存权衡。话说回来，

再看技术架构，Paimon Global Index 与 ES 索引程序对接

• 1. Paimon Global Index + ESLib 建立阶段： Spark/Flink 并行完成 Lucene 分片生成。同时完成 Global Index 分片与行号对齐，为后续挂载做准备。

2. E S 挂载阶段： 调用 mount 时读取 Paimon 表元数据 & Global Index 元文件。在 ES 内部创建只读 shard 映射，无需 bulk 导入或复制文件。利用磁盘缓存 & 异步预取减少远端 I/O。

3. E S 查询阶段： 先在 Lucene 索引中完成检索。仅保留 Top‑K 命中，不扫描完整 Paimon 数据文件；随后通过 shard+doc id 恢复 row id。以最小 I/O 再读取业务字段或原始对象，实现低延迟回源。

4. User query real‑world test: 同一 Cohere10M 湖上数据使用 PyPaimon 精确扫描耗时 s。Lumina fresh reader s，Lumina list64 在批处理模式下每 query s/_%recall@%;不过，而 ES mount 使用 DiskBBQ 时 p50 为 s /%recall@%。

. 使用场景与 Demo：阿里云ES+DLF多模态样本库落地流程

• ① 准备 lake table:  将样本 ID 、来源 、时间 、场景标签 、标注状态 、模型版本 、权限范围还有对象 URI 等业务字段保存在 Piammon 湖表中；生成视频帧/图片/文本 embedding 或全文字段。将原始对象保存在 OSS/S3 中，仅将全局 index 写入 Global Index。

② 建立 Global Index:  通过 Spark/Flink 为需要检索的向量及结构化字段建立 Lucene 索引。

③ 挂载到 ES:  配置 DLF 与对象存储访问权限，将对应表版本挂载为只读 ES 索引。

④ 接入查询应用:  使用 Query DSL 调用 kNN + filter + aggregation，实现组合查询。

⑤ 回源详情:  返回业务字段 与原始对象，以支持人工复核或进一步训练。

. Future Outlook: 阿里云 Search Lake 从「库上」走向「闭环」

Paiton's storage,processing,governance are mature. Search Lake fills gap from lake‑index to online queries by letting ESG mount indexes directly on lake storage without a second copy of facts. Future plans include turning searchable into interactive – user feedback from searches will flow back into Piammon to generate new versions。closing loop for continuous improvement.

• 相关产品: 阿里云 Elasticsearch 检索分析服务

钉钉技术交流群: 群号 xxxx

官方文档: 阿里云 Elasticsearch 官方文档 https://help.aliyun.com/document_detail/elasticsearch.html

开源文档: Apache Piammon Global Index 文档 https://github.com/apache/pai-mons/blob/main/docs/global-index.md

---

。

---