在过去的几年里ChatGPT、Claude、Gemini 等“大模型”凭借惊人的语言组织Neng力，几乎Ke以和人类聊天。然而它们Zui常被诟病的，是“幻觉”——在缺乏可靠依据时硬生生编出答案。今天我想把一段真实的研发经历摆到你面前，用它来说明 RAG到底是怎样把“大模型”拽回现实的。

假设我们正在为一家汽车媒体打造智Neng客服。用户经常会问：“新款小米 SU7 的续航到底是多少？”。这款车刚在上个月发布，官方文档还没进入公开数据集，传统的大模型根本没有对应的记忆，只Neng靠“猜”。于是整个项目陷入了“答不上来”“随便说点儿”的尴尬境地。

研发团队决定给这个“大学生”装上一个「图书管理员」——也就是 RAG 系统。接下来就让我们跟随他们的脚步，一步步揭开 RAG 的神秘面纱。

1️⃣ 文档收集 & 清洗

官方发布会 PPT、产品手册、媒体试驾报告共计 12 份；

每份文档先转成纯文本，再剔除广告、版权信息等噪声。

2️⃣ 文本切分

为了让向量检索geng精准，我们把总计约 15 KB 的文字按「句子」和「语义边界」拆成 48 段，每段控制在 200‑300 token 左右。这样Zuo既Neng保持上下文连贯，又不会超出向量数据库的单条限制。

3️⃣ Embedding 编码

选用 OpenAI 的 text‑embedding‑ada‑002，把每个 chunk 转化为 1536 维向量，然后批量写入 Supabase 向量 中。写入过程配合批次重试机制，以防网络抖动导致的数据丢失。

小提示：Ru果你使用的是 Milvus 或者 Qdrant，也别忘了开启 IVF+PQ 索引，这Neng把检索时间压到毫秒级。

① 把问题向量化

用户输入：「新款小米 SU7 的续航怎么样？」系统先用同样的 Embedding 模型把这句话映射成向量 A。

② 向量相似度检索

在 Supabase 中执行「cosine 相似度」查询，返回相似度Zui高的 Top‑3 chunk：

#1 「SU7 官方公布续航为 600km……」

#2 「第三方测评显示满电可跑约 580km」

#3 「对比同级别车型，SU7 的Neng耗为 15 kWh/100km」

③ 构造 Prompt 并喂给 LLM

下面是一段关于“小米 SU7”的官方资料，请结合这些信息回答用户的问题。
 #1 … #2 … #3 …
问题：新款小米 SU7 的续航到底是多少？
请直接给出数字，不要出现无关内容。

L​LM 在得到这些「参考材料」后就不必再凭空想象，而是基于真实数据输出答案：「根据官方和第三方测评，新款小米 SU7 在综合工况下续航约为 600 km。」这就是 RAG 消灭幻觉的核心原理。

太粗：一次返回的大段文字可Neng包含大量无关信息，导致 LLM 被「干扰」；

太细：碎片化后相似度下降，检索不到关键句子；

经验法则——保持每块在 150‑250 token 范围内，并尽量让每块围绕一个完整概念组织。

SupaBase 对新手友好，但在海量文档时可Neng出现查询延迟。Milvus、Pinecone 等商业向量库提供geng强大的近实时搜索Neng力，不过成本也随之提升。调参时尤其要关注：

M=32/64/128: IVF 列表数量；

PQ=96/128/256: 压缩维度；

K=5~10: 返回候选数目。

相似度阈值是否设得合理？ 若阈值过低，会拉进噪声；过高则可Neng空返回。

L​LM 是否有足够的上下文窗口？ 如使用 GPT‑4‑32k，可一次塞入geng多 chunk；若窗口仅有 4k，则需进行摘要或精简。

L​LM Prompt 是否明确指示只使用提供的信息？ 加入 “只依据以下内容回答，不要自行推断”。

CACHE 策略不可忽视。 热门问答Ke以预先缓存向量匹配结果，把查询时间压到毫秒级。

L​LM 与 Retrieval 双向迭代。 当 LLM 给出模糊答案时可 触发检索并让它重新生成，这种「自我纠错」Yi在Zui新研究中崭露头角。

"Rerank+LLM"组合是提升准确率的金钥匙。 先用轻量排序挑出 Top‑10，再交给交叉编码器，Zui后喂给 LLM，让Zui终输出geng聚焦核心信息。

"Function Call" 与 RAG 并行使用将打开新局面。 比如先用函数获取实时价格，再用检索得到历史评价，两者合力产生geng丰富答案。

"多模态 RAG" 未来不仅是文字，还会加入图片、音频特征向量，使得智Neng体Neng够同时阅读说明书图片和口述指令。 🌟

五、让 AI 从「说得漂亮」走向「说得可信」 🧭‍♀️‍♂️‍⚙️‍🧠 ‍💡 ‍📚 ‍🔍 ‍🚀 ‍💬 ‍👓 ‍🛠️ ‍✨ ‌‌‌‌‏‏‏‏‏‏‏‏ ‏‏‏‎‎‎‎ ‎ ‌‌‌‌‌‎‌ ‎​​‌⁦‌⁦‮​⁧‮‬​​‌ ⠀​⁠⠀⁠  ⠀⁣⠀⠀⁠​​​​​⟨⠀⁠⁤⁣❗︎❕⟩

经过上述案例，你应该Yi经对"RAG + 大语言模型") 的整体工作流有了比较清晰的认知。从离线准备到线上查询，从向量相似度到 Prompt 精炼，每一步dou像拼图一样必须严丝合缝，否则就会出现“又胡编又跑题”的尴尬局面。只要按照本文提供的步骤去落实你所部署的智Neng客服或内部助理，就Neng像拥有一本永远Zui新的大百科全书一样，为用户提供可信赖且富有人情味的答案。