🤔 为什么需要 RAG？

想象一下你手里有一本几百兆的《天龙八部》EPUB 电子书。再看如果你想问，“段誉到底会哪些武功？ ”

• 传统搜索你只能搜关键词“段誉”、“武功”。老实说，如果原文写的是“他施展出六脉神剑”。而没出现“武功”二字，传统搜索可能就漏掉了。怎么说呢，
• 语义搜索 ：它能理解“会哪些武功”和“施展出六脉神剑”在语义上是相关的。即使关键词不匹配，也能精准定位到相关段落，并让 AI 给你听。

这就是 RAG 的魅力。今天我们就通过三个主要文件，手把手实现这个流程。

🛠️ 技术栈概览

本次 MVP 我们选用以下“黄金组合”：

1. 数据源: .epub
2. 数据加载 & 分割: .Loader RecursiveCharacterTextSplitter @langchain/community EPUB @langchain/
3. 嵌入模型 : .Embeddings @langchain/openai OpenAI
4. 向量数据库: Milvus
5. 大语言模型 : ChatOpenAI

🚀 主要流程解析

RAG 的流程其实就两步：入库 和 查询 .

第一步先的观点是，数据入库

这是最耗时的一步. 需要把书"读"进去。切碎,变成向量,存进 Milvus.

1. 初始化 Milvus 集合

向量数据库不像 MySQL那样随意建表,需要定义 Schema. 在 getBookCollection函数中,我们设计了如下字段:

(fields:
)
)❯❯❯

)❯❯❯

) ) ) ) )❯❯❯

💡注意::dim 必须与你的 Embedding 模型输出维度一致.

加载与切片

电子书不能一次性塞进去,太大了.我们使用 LangChain 的 EPubLoader按章节加载,再用 RecursiveCharacterTextSplitter 按段落切分.

const loader = new EPubLoader;const documents = await loader.load;const textSplitter = new RecursiveCharacterTextSplitter({
chunkSize:500,chunkOverlap:50});)，//遍历每一章,切分后生成向量for(let chapterIndex=;chapterIndex 

向量化与批量插入

这是"魔法"发生的地方.调用 OpenAI API将文本转为向量数组,接下来批量写入 Milvus.

//并发生成向量const insertData=await Promise.all(
chunks.map=>{ const vector=await getEmbedding;return {
id这方面，${bookId}_${chapterNum}_${index},content : chunk,vector。// ⭐存入vector }
})
)
await client.insert({ collectionname :
COLLECTIONNAME,data :
insertData });)，)
)
)
)
)

此时控制台会打印出得分最高的几个片段,哪怕原文里没有"武功" 这两个字只要语义相近都能被搜出来！)

const context =
retrievedContent.map=>{
return :
${item.content};}).join，const prompt=` 你是一个专业的《天龙八部》小说助手.
请根据以下《天龙八部》小说片段内容回答问题：
：
${context}
:${question}
：
. 准确、详细符合原著情节.
. 不要胡编乱造.
适当引用原文.

AI回答这方面，`;

);

调用 LLM 生成答案

const model=new ChatOpenAI;const response= await model.invoke;console.log，//输出： 段誉主要学会了北冥神功、凌波微步还有六脉神剑...

);)，

)

完整源码展示 💻完整源码展示 💻为了方便大家复现{});} catch{ console.error; throw err，}} async function insertChunk sBatch{ if=>{ vect or await getEmbe ddin g;retu rn { i d `${bo okId}_ ${cha pte rNu m}_ ${chun kInd ex}`,bo ok_i d String。bo ok_n ame BOO K_N AME ch ap te r_n um cha pte rNu m ind ex chunk In dex co nt ent chu nk v ect or } }) );inser tResu lt aw ait cli ent.in sert;retu rn Nu mber ||;}} async functi on loadAndProc essEP ubStreamin g{ cons ole.log;load er new EP ubLoa der;documents await loade r.load;tex tSpli tte r new Re cursiv eCha racte rTex tSp litte r({ chunkSiz e CHUNK_SIZ E chunkOve rla p CH UN K_OVE RL AP }) let tota lInser ted;for(let chap terInd exe;chap terInd exe docume nts.leng th;chap terInd exe++) { chap ter documents;cons ole.log;chunks aw ait tex tSpli tte.rsp litTex t;if(ch unks.l engt h=== continue;inse rt edCo unt aw ait inse rtChunk sBa tch;tot alInsert ed += inse rt edCou nt;cons ole.log;} cons ole.log;} async function mai n{ try{ await cli ent.conne ctPro mise;cons ole.log;boo kId，awa it ensur eb ookColle ction;怎么说呢，awa it lo adAn dProce ssE PUBS tre ami ng;}catch{ cons ole.error;} mai n，);

🎰和未来展望 ## Through se three files we have completed complete loop of RAG system:

• Unstructured data ->Structured vectors.
• Natural language questions->Semantic matching->Accurate context.
• Context+LLM->High-quality answers.

This is just MVP.The following can be added to commercial-grade development:

• Hybrid retrieval keyword matching+vector retrieval more stable results.
• Reorder:Re-order retrieved results again.
• Multimodal not only search text but also images within book.
• Permission management different users can only search ir uploaded books.

The vector database is no longer black technology it has become standard infrastructure for AI applications.Try it yourself and feed your knowledge base to AI!

Interactive topics ## Which books do you want to make such an AI assistant for?Welcome to comment below!老实说，