多模态RAG要高效处理数据，咱就是说得先弄清楚它是个啥。

哈哈，你猜怎么着？多模态RAG就是Neng处理文本、图片、视频等多种数据的RAG系统。

说实话，这玩意儿挺复杂的。

为啥百度不收录我的文章呢？有人说是内容不够原创，也有人说是关键词堆砌不对，害，我觉得可Neng是我写得太乱了。

咱回归正题，多模态RAG 得把不同格式的文件拆开，比如Word、PDF、图片和视频。

PDFgeng复杂，因为它可Neng同时包含文本、扫描图、嵌入图片和复杂版式。

使用PyMuPDF时Ke以逐页提取文本，也Ke以提取每页嵌入的图片。

图像转文本的可解释性geng好，也Neng提取关键词，但一定会丢失部分视觉信息。

图片embedding保留视觉语义geng好，但不好解释。

实际项目里Ke以两者结合，你懂的。

多模态RAG的核心问题

所以多模态RAG要解决的核心问题是：如何把不同模态的数据统一表示。

答案是使用同一个多模态Embedding模型，把文本、图片、视频dou映射到统一的向量空间里。

import dashscopeimport jsonfrom http import HTTPStatusvideo = "https://dataset-.cos.ap-nanjing.myqcloud.com/mp4/car.mp4"input_data = resp = dashscope.MultiModalEmbedding.callif resp.status_code == HTTPStatus.OK: result = { "status_code": resp.status_code, "request_id": getattr, "code": getattr, "message": getattr, "output": resp.output, "usage": resp.usage, } print)

统一向量空间到底是什么意思

统一向量空间Ke以理解为：文本、图片、视频dou被映射到同一个坐标系里。

这样就Ke以实现跨模态检索，比如用文本查询图片或视频。

多模态RAG的数据层

多模态RAG的数据层 要把文件拆开，提取文本、图片和表格等内容。

def parse_docx: doc = DocxDocument content_chunks = for element in doc.element.body: if element.tag.endswith: paragraph_text = "" for run in element.findall: paragraph_text += run.text if run.text else "" if paragraph_text.strip: content_chunks.append, }) elif element.tag.endswith: md_table = table = if table.rows: header = .cells] md_table.append + " |") md_table.append) for row in table.rows: row_data = md_table.append + " |") table_content = " ".join if table_content.strip: content_chunks.append return content_chunks

检索策略

多模态RAGKe以采用“统一索引 + 后筛选”的检索策略，先统一检索，再根据类型和相似度筛选结果。

媒体意图检测。 用关键词判断用户是否需要图片或视频，比如“海报”“照片”“视频”等关键词。 IMAGEKEYWORDS = VIDEOKEYWORDS =

结果筛选。 文本取Top-K，例如默认k=5。图片和视频只有在距离小于阈值时才采纳，例如MEDIADISTANCETHRESHOLD = 0.3。 这样Ke以避免媒体误匹配，提高准确率。 这个策略背后的考虑包括：不同模态的内容应该统一排序，但Zui终返回给用户的还是要区分类型和意图。

RAG应用的整体链路

把前面的内容串起来一个多模态RAG助手的整体链路大致如下：

NATIVE RAG: 自己控制解析、切分、向量化、索引、检索、Prompt组装和生成，不完全依赖上层框架。 它的好处是流程透明，适合学习底层逻辑和Zuo定制化系统。 缺点是开发成本较高，需要深入理解每个环节。 这种方式比较传统：先把数据处理好，再构建索引，Zui后提供检索服务。

RAG与PageIndex的结合

PageIndexgeng关注页面级组织：这一页有哪些区域，哪些文本，哪些图片，哪些表格，它们之间的位置关系是什么。 RAGgeng关注知识片段Neng不Neng被检索到，而PageIndexgeng关注页面结构和引用回溯。 两者Ke以结合使用：先用PageIndex保存页面结构和定位信息，再把文本块、图片块、表格块送进RAG检索系统。 比如讲CNN的由来Ke以把文字材料转成“教授板书照片”的样子，用箭头、方框、图表和中文说明来解释S细胞、C细胞、卷积层和池化层之间的关系。 这就是多模态应用和普通聊天应用的重要区别：普通聊天只输出一段文字，多模态应用会把文字、图片、音频、视频串成一个完整工作流。 FAISS本身geng像一个向量检索库，它重点管理向量和索引。真实业务里不Neng只存向量，还要单独维护元数据。 常见的metadata包括原始文本内容，图片路径，视频URL，来源文件，页码等信息，这些dou是业务上需要回溯的内容。 为什么要单独存metadata呢？因为FAISS命中向量ID后需要通过metadata找回原始业务内容，比如返回正确的图片或视频链接，而不是单纯的向量表示。 有一种Zuo法是直接让LLM输出结构化判断，比如： { "wantimage": true, "wantvideo": false, "reason": "用户明确询问活动海报"}

NATIVE RAG的实现细节

. 解析Word文档: 使用parsedocx, 遍历所有段落和表格，将内容提取成独立chunk。 . 文本切分: 按固定长度切分，例如 chunksize=500, =100, 或者按语义边界切分。 . 图片处理: 读取为Base64后调用多模态Embedding模型，如tongyi-embedding-vision-plus. . 视频处理: Ru果模型支持URL直接输入，就传URL；否则需要先抽取关键帧再Zuoembedding. . 向量写入FAISS: 所有向量进入同一个索引。 . Metadata保存: 图片路径/视频URL/文件名/页码等信息单独保存为JSON或数据库记录。 . Zui后持久化存储为.faiss+.json. 简化代码如下：

metadatastore = for filepath in filepaths:    if filepath.endswith:        chunks = parsedocx        # 切分并向量化        for chunk in chunks:            vector = getembedding            metadatastore.append,                 "source": filepath,                 "type": chunk,                 "content": chunk            })            faissindex.add    elif filepath.endswith or filepath.endswith:        vector = imageembedding        metadatastore.append,             "source": filepath,             "type": "image",             "path": filepath         })        faissindex.addsavefaissindexsave_metadata

NATIVE RAG与端到端方案的对比

NATIVE RAG:

优点: 可控性强，每一步douhen清楚；便于定制化；方便debug.

缺点: 模块较多，需要自己处理解析/切分/embedding/索引等环节；跨模态检索需要额外对齐.

端到端方案:

优点: 直接调用API即可完成复杂任务；学习成本低；部分场景下效果不错.

缺点: 对底层逻辑控制较弱；可Neng存在黑盒问题；依赖特定平台/API.

NATIVE RAG的应用场景 NATIVE RAG特别适合以下场景：

复杂文档处理: 需要精细控制解析逻辑，如专利文档/法律文档/技术标准等.

跨模态检索需求强烈: 如以文搜图、以图搜文、以文搜视频.

业务逻辑复杂: 需要对检索结果Zuo二次加工，或增加额外规则约束.

NATIVE RAG让开发者拥有geng多自由度，但也意味着geng高的开发维护成本——这也是它常用于核心/复杂业务的原因。

---