🏯 从零搭建《天龙八部》RAG 智能问答程序 — 完整实战学习日志

📖 一、项目概览

这个项目做了什么？其实，

我们把金庸经典武侠小说《天龙八部》变成了一本“可对话的书”——你可以像和一位资深金庸迷聊天一样。问它：

• "鸠摩智会什么武功？"
• "段誉的六脉神剑是怎么练成的？"
• "

常见痛点：你可能担心大模型会“幻觉”，答案不准确；或者因为知识截止日期导致信息过时。

底层采用 RAG 架构：先检索小说中最相关的片段。再交给大模型片段生成准确回答，解决主要问题了大模型"幻觉"和知识截止日期的问题。

🧱 二、技术栈全景图

┌───────────────────────┐
│ EPUB 电子书 │
├───────────────────────┤
│ 文本分割器 │
├───────────────────────┤
│ Embedding │
├───────────────────────┤
│ Milvus IVF_FLAT │
├───────────────────────┤
│ 相似度检索 │
├───────────────────────┤
│ Prompt 拼接 + LLM 调用 │
└───────────────────────┘

🔧 三、项目结构

# tlbb/
├── .env # 环境变量
├── package.json # 依赖管理
├── 天龙八部.epub # ~15MB 的小说源文件
├── readme.md # 项目说明
└── src/
├── main.mjs # 数据预处理：加载 → 分块 → 向量化 → 入库
├── query.mjs # 向量检索：输入问题 → 返回 Top‑K 片段
└── rag.mjs # 完整 RAG 流程：检索 + LLM 生成答案
└─────文件职责说明：
• main.mjs : 把电子书“喂”进向量数据库
• query.mjs : 从向量数据库中“找”这些内容
• rag.mjs : “检索 + 答案”完整闭环
数据预处理管道；老实说，query.mjs -> 搜索逻辑；rag.mjs -> Prompt 与 LLM 调用 -->
/* 注意保持单一职责 */
/* 每个函数只做一件事 */
/* 返回值可预测 */
/* 错误处理要层层捕获 */
/* 配置集中管理在顶部统一定义 */
/* 流式处理思想：边加载边处理，不堆积数据 */
// …`
`
`，

🗄️ 四、深入 main.mjs：数据预处理管道

如果你只想快速开始。不想手动写大量代码，可直接复制下方完整脚本并替换配置即可。

向量数据库 Collection 设计：

// 定义常量在顶部统一管理
const COLLECTION_NAME = 'ebook';const VECTOR_DIM = 1024;// 与 Embedding 输出维度保持一致
const CHUNK_SIZE = 500;// 每个分块字符数
const CHUNK_OVERLAP = Math.floor;// 重叠字符数
// Milvus Collection Schema 示例
interface DocChunk {
至于id，string;// {bookId}_{chapter}_{chunk}
book_id: string;book_name: string;chapter_num: number;index: number;content: string;vector，: number;}

Caution: Milvus 要求字段类型严格匹配，例如 FloatVector 必须与 embeddings 输出维度一致。如果出现“dimension mismatch”，请检查 OPENAIEmbeddings 的 dimensions 参数是否已显式设置。**主要函数解析**
ts
async function ensureCollection: Promise {
const hasCollection = await client.hasCollection({
collection_name: COLLECTION_NAME,});老实说，if {
await client.createCollection({
至于fields，});await client.createIndex({
collection_name: COLLECTION_NAME,field_name:"vector"。index_type:"IVF_FLAT",metric_type:"COSINE",params:{ nlist:nlist } // nlist=256 是经验值，对百万级数据效果不错
});}
try {
await client.loadCollection;} catch{
console.log;老实说，}
}
**解释**
- `nlist` 是 K‑Means 聚类中心数目；增大 nlist 可提高精度，但会增加内存使用。- **为什么选择 IVF_FLAT**：它在高维空间中通过聚类划分搜索范围，大幅降低查询时间。ts
async function loadAndProcessEPubStreaming: Promise{
const loader = new EPubLoader;老实说，const documents = await loader.load;// N 个 Document
const splitter = new RecursiveCharacterTextSplitter({
chunkSize: CHUNK_SIZE。chunkOverlap: CHUNK_OVERLAP,});for{
const chapter=documents;const chunks=await splitter.splitText;await insertChunksBatch;
}
}
**为什么用流式而不是一次性？**
- 一本百万级字数的书产生上千个块，每个都需要调用 Embedding API。一次性全部上传会占满内存且容易崩溃。- 按章节流式切割与批量插入，可减少峰值内存。而且失败时仅需重跑当前章节即可。

参数选择哲学



参数
推荐取值
原因




chunkSize
500
能覆盖完整情节片段，同时避免太长导致 Embedding 长度超限


chunkOverlap
*50 *
保证上下文连贯。避免关键信息被切断


VECTOR_DIM
1024
与 OpenAI 的 text‑embedding‑ada‑002 输出维度一致


separator
默认 

用作章节间自然断句





🔍 五、深入 query.mjs：纯向量检索

ts
async function search: Promise{ api<="" await="" client.loadcollection;="" const="" getembedding;="" openaiembeddings="" p="" qvec="await" 调用="">

const result = await client.search({
collectionname:COLUMNATIONNAME,vector:qVec,limit:k,metrictype:"COSINE",outputfields:
});

return result.results.map,...r}));}


检索流程拆解


使用者提问 ➜ Embedding ➜ COSINE ➜ Top-K 文本块 ➜ 返回结果


💡 余弦相似度 对文本语义最友好。因为只关注方向，而非长度。


🤖 六、深入 rag.mjs：检索 + 生成闭环实现细节

ts
// 主入口函数 – 给定问题返回答案字符串
async function answerEbookQuestion: Promise{
// 步骤① 检索相关片段
const retrievedContent=await retrieveRelevantContent;

// 步骤② 建立上下文
const context=retrievedContent.map=>片段${i+1}:
${c.content}).join;按理说，

// 步骤③ 拼装 Prompt
const prompt=你是专业《天龙八部》小说助手。请根据以下小说片段回答问题。${context}
从使用者问题来看。${question}
从回答要求来看，1️⃣ 若有相关信息，请详细准确地回答。2️⃣ 若无，请诚实说不知道。按理说，3️⃣ 如有多条相关信息，请综合提供完整答案。4️⃣ 避免胡编乱造，以原文为准。5️⃣ 可引用原文支持回答。AI回答这方面，;

// 步骤④ 调用 LLM
return model.invoke.n;}


Prompt 工程五大约束



限制条件
意图




“基于小说回答问题”
确保答案仅来自提供文本


“如果没有。请说不知道”
防止模型凭空捏造


“综合多个片段”
利用 Top‑K 多重冗余拼接更完整答案


“符合小说情节和人物设定”
保持角色一致性与真实性


“引用原文内容”
提高可信度并方便读者溯源





⚙️ 七、Embedding 配置详解及常用方法教程

ts
const embeddings=new OpenAIEmbeddings({
apiKey process.env.OPENAI_API_KEY,model process.env.EMBEDDINGS_MODEL_NAME || 'text-embedding-ada-002',configuration:{ baseURL},dimensions : VECTOR_DIM,// 必须与 Milvus schema 对齐
});



配置项
说明
默认值/建议
备注




apiKey
OpenAI API 密钥
 T 


model
Embedding 模型名称，如 text-embedding-ada-002
 T 


baseURL
自定义 API 地址，可代理或国产模型
 T 


dimensions
显式指定向量维度。与 Milvus 一致
 T 









🗃️ 八、Milvus 向量数据库关键操作速查表格化示例代码：




操作

代码
说明










创建客户端new MilvusClient
Milvus Cloud 使用 TLS连接实例化客户端连接对象



检查集合client.hasCollection
返回{value:boolean}
用于判断是否已存在该集合
✅ 使用前先检查集合是否存在否则后续插入会报错
/tbody/tr>


...


🚀 九、完整运行流程演示步骤 & 常见错误修复策略：


Step ：环境准备





OPENAIAPIKEY=sk-your-openai-key
OPENAIBASEURL=https://api.openai.com/v1
EMBEDDINGSMODELNAME=text-embedding-ada-002
MODELNAME=gpt-4o
MILVUSADDRESS=https://your-instance.milvus.cloud:MILVUS_TOKEN=your-milvus-api-token
...



Step ：首次数据入库 – 执行 main.mjs :


node src/main.mjs
...


Step ：问答交互 – 执行 rag.mjs :




: 文档加载 → 文本分割 → 向量化存储 → 检索生成。此顺序保证每一步都能得到高质量输入。




: Embedding 有长度限制；说起来，长句子语义混杂导致召回率下降；更细粒度能精准定位答案所在段落。



: 切割时可能把关键信息截断；通过少许重叠保证上下文完整，让模型获取完整语义。



: K‑Means 聚类划分空间 -> 搜寻最近簇再暴力搜索；复杂度 O+O，适合百万级规模。



: COSINE 看方向相似，更适合文本语义距离测算；L2 对长度敏感，会误判同一句重复两遍距离增大。



: 多书支持；更高 nlist 或 HNSW 加速查询；混合 BM25+向量检索弥补专有名词盲区；流式响应与对话记忆让交互更自然。


常用方法清单



✅ 函数单一职责: 一个函数只做一件事.




写在最终

This project may seem small but it covers entire RAG pipeline from raw EPUB parsing to real-time chat with a large model.

P.S.这方面，以下资源可进一步加深理解与实践:



- LangChain 官方 docs - for advanced chain composition and memory management.



{>