说起来，

使用 Node.js + Milvus + 大模型。搭建一个基于《红楼梦》小说的问答助手。

什么是 RAG？

RAG 是Retrieval-Augmented Generation是一种将大语言模型与外部知识检索结合起来的 AI 技术。它的主要思想是：

这样模型不仅依赖训练时学到的知识，还可以利用最新或公司私有的数据。

使用者痛点

• 答案不准确传统大模型可能给出与原著不符的回答。
• 幻觉现象模型在缺乏信息时会编造答案，导致误导。
• }检索不到关键细节
• {>}对话体验慢，缺乏即时反馈

为什么需要 RAG？按理说，

说到目的只有一个。让大模型回答更准确，其实，

因为大语言模型的知识可能过时、不了解私有数据。容易产生幻觉，

需要 RAG。让大语言模型基于最新的知识或私有数据进行回答，解决大语言模型的幻觉问题。不过，

RAG 的工作流程

可以把 RAG 理解成检索、提高和生成三个步骤：

1. 说到检索。根据使用者提问，在向量数据库中检索找到最相关的文档。

2. ：将使用者问题 + 检索结果一起组成 Prompt。

3. 从生成来看。将 Prompt 传给 LLM，并得到答案。

说到例如。有一个由《员工手册》切分成的向量数据库：

• 至于使用者提问，公司年假是多少天？
• RAG 会：
  1. 在员工手册中找到“年假政策”;
  2. 把相关几段内容发给 LLM;
  3. LLM 根据这些内容生成答案。不过，

This is definitely more accurate than letting large model answer based solely on its training data.

如何建立 RAG?

步骤概览

1. 文本切分：
2. 文本向量化：
3. 存入向量数据库：
4. 使用者提问：
5. 相似度检索：
6. 交给大语言模型生成答案： 将 使用者问题 + 检索到的文本 一起发送给 LLM，由 LLM 根据这些资料生成最终答案。

知识库建立阶段

Milvus 是开源向量数据库，可存储百万级甚至十亿级规模数据；适合公司级知识库，支持快速相似度搜索；可用 IVF_FLAT + COSINE 进行高效查询。

---

 

主要技术栈：


Milvus 向量数据库——存放原文+检索结果；

阿里云 text-embedding-v4——Embedding 模型，用于给文本“打标签”；

阿里云 qwen-plus 大模型——负责回答使用者问题；

Express —— Node.js 后端框架；

Vue + Element Plus —— 前端 UI 框架；

SSE 流式传输——让答案逐字出现。实现“打字机”效果，减少等待时间；，。，。，  ， 
 ，​

 ​ ​    ​ ​ ​    ​ ​​ ​ ​​

注上述代码块中 与 请根据实际需求设置，例如 chunkSize=5000 字、chunkOverlap=200 字。

---

使用者回答阶段

typescript async function* streamChatWithHongLouMeng( 至于query，string): AsyncGenerator{ console.log;// . 搜出最相关的 k 段原文 const retriever = vectorStore.asRetriever({ searchType: "similarity"。k: /* 最多返回多少段 */10,});按理说，const docs = await retriever.invoke;// . 组装提示词：告诉大模型它是谁 + 给它参考资料 + 使用者问题 const chain = prompt.pipe.pipe);// . 流式生成：每出一个字就 yield 出去 const stream = await chain.stream({ context: formatContext。input: query,});for await { if { yield chunk;// “贾” → “宝玉” → “外貌” → …} } } function formatContext:string{ return docs.map=>doc.pageContent).join;}

提示词示例的观点是，

你是一个精通《红楼梦》的文学助手。怎么说呢，说到上下文信息，使用者问题：贾宝玉的外貌如何？再看回答，

SSE 流式推送

typescript // 告诉浏览器：我要用 SSE 协议。边生成边发 res.setHeader;res.setHeader;// 每生成一个字，就包装成 SSE 事件发出去 for await ) { res.write;res.write，}

前端打字机效果

typescript // 收到一个字 → 拆成打字单元 → 塞进队列 function push{ queue.push);其实，// "贾宝玉" → }

// 打字泵：从队列取字 → 显示 → 停顿 → 再取 async function pump{ while{ const unit = queue.shift; message.content += unit; // 追加到界面 await sleep);// 根据字符类型设定停顿时间 } }

splitIntoTypingUnits 与 getTypingDelay 的具体实现可在项目仓库查看。

---

效果演示

1. 一次性导入 bash pnpm ingest # 把《红楼梦》全文导入 Milvus，只跑一次即可。其实，

2. 开启服务 bash pnpm dev # 启动后端服务；老实说，pnpm web:dev # 启动前端服务。

3. 访问体验 浏览器打开 http://localhost:。输入任意《红楼梦》相关的问题，即可看到实时流式回答。老实说，

完整代码已上传 GitHub 仓库：

---

这篇文章以《红楼梦》问答助手为例。演示了如何使用 Node.js、Milvus 和大型语言模型建立一套完整 RAG 程序：

1. 文本切分 — 将约百万字小说拆成若干千字符块，并做适当重叠，以保持语义连贯性。
2. Embedding 与存储 — 用 text‑embedding‑v4 把每块转为向量后写入 Milvus，并创建 IVF_FLAT+COSINE 索引以加速搜索。其实，
3. 检索 & Prompt 构造 — 在查询时先从 Milvus 中拿到 Top‑k 最相近原文。再把它们与使用者提问拼接为 Prompt 给 qwen‑plus。不过，
4. 流式输出 & 打字机 UI — 后端通过 SSE 推送单字符流。前端解析并按自然节奏渲染，实现“打字机”效果，明显提高交互体验。

该方案有效抑制了 LLM 幻觉。提高了答案准确率，同时满足了实时交互需求，是建立文学类智能问答程序的一套成熟实践方案。说起来，