别再把文档“一刀切”：用 LangChain.js 做好 RAG 的第一公里

前言的观点是。RAG 的问题，可能根本不在大模型

假设我们正在做一个技术文章知识库。

说到使用者问，

原文中恰好有这样一段内容：

但如果程序恰好从“语义关联”中间切开。向量数据库收到的可能是两个残缺片段：

Chunk A：…，说起来，上一块的最终一句和下一块的第一句可能存在很强的
Chunk B：语义关联。重叠一部分内容，可以在部分情况下保留…，

这时即使后面使用再强的 Embedding 模型、再贵的大模型，也是在残缺的上下文上工作。

这就是文档切分的关键性：切分不是简单地把长文本变短，而是在长度约束下尽可能保住文本的语义单元。

今天聊聊用 LangChain.js 完成一个小而完整的 RAG 预处理流程：

网页 URL ↓CheerioWebBaseLoader ↓LangChain Document ↓RecursiveCharacterTextSplitter ↓可供向量化与检索的 Chunks

我们还会解决几个实际开发中很容易遇到的问题：

• Loader 到底解决了什么问题？
• 为什么不能只用 text.slice 切文本？
• chunkSize 和 chunkOverlap 应该怎么配？
• 中文分隔符应该怎么写？
• 为什么代码最终打印出来的可能是一个 Promise{}.?.，.?.，.?. .，. .?，

 .?.，.?.，.?.，?.，?
.，?
.，?.
.
.
.
.
.
..
..
..
..
..
......
......
.......
.........
........

.

.