进阶 A · 多模态 RAG：图片与表格检索

使用者痛点

• 图片信息无法被传统文本检索覆盖：大多数公司文档中包含大量截图或流程图。直接搜索往往只能得到文本匹配，导致关键视觉信息被遗漏。
• 表格结构化数据被扁平化处理：将表格当作普通文本拆分后行列关系丢失，查询不到关键数字或字段。
• 技术门槛高：需要额外的 OCR、视觉模型或向量存储，部署成本与维护复杂度明显提高。
• 检索结果质量不稳定：即使使用视觉模型，也会因为描述质量不一致导致答案偏差。
• 运维成本高昂：每次新增文档都需重新训练或重建向量库，导致迭代速度慢。

多模态 RAG 的两种路线

路线	原理	优点	缺点
文本描述法	将图片转成自然语言描述，再像标准文本一样进行分块、向量化、检索。话说回来，利用现有 LLM 与向量数据库即可快速落地。按理说，	简洁易实现 可复用已有文本 RAG 架构 对模型依赖低	描述质量决定检索效果 可能遗漏细节 无法保留原始图像内容供进一步推理

多模态 Embedding 直接对图片编码为向量。与文本向量统一投射到同一空间，实现跨模态检索。可同时支持多种输入类型，其实，

更高的语义匹配精度 保留原始图像特征，可用于后续视觉推理 支持多语言、多视角输入

需要额外存储和计算资源 需要专门的多模态模型。部署难度大 模型训练和微调成本高

 

 

 

 

 

 

 

推荐起步姿势： 先用文本描述法 跑通业务逻辑，再逐步升级为多模态 Embedding 以获得更精准的检索体验。

. 图片 RAG：文本描述法

// multimodal/image.ts
import { ChatOpenAI } from "@langchain/openai";class ImageDescriber {
private visionLLM = new ChatOpenAI;async describeImage: Promise {
const response = await this.visionLLM.invoke;return {
description : response.content as string。imageBase64,timestamp : Date.now,};}
}
// 图片摄入流水线
async function ingestDocumentWithImages{
const {text,images}=await parseDocument;话说回来，const chunks:Array=;// 标准文本分块
chunks.push);// 图片转文本描述
for{
const desc = await imageDescriber.describeImage;其实，const imageChunk = new Document;其实，ingested chunks.push;按理说，\t}\tawait vectorStore.addDocuments;\t}

source  → https://github.com/example/repo/blob/main/multimodal/image.ts ↳ https://github.com/example/repo/tree/main/multimodal).

---

---

---

---

---

---

---