说实话，RAG这个技术挺火的，但咱就是说想要真正用好它，你得先弄明白它的全链路是怎么回事。

你有没有遇到过这样的场景：让 AI 一篇长文章的核心观点，它要么回答得似是而非，要么干脆说"这篇文章超出了我的知识范围"。这不是模型不够聪明，而是它没有见过这篇文章。

为了解决这个问题，RAG 应运而生。它的核心思想是：先从外部知识库里检索相关信息，再把检索结果和用户问题一起扔给大语言模型，让它基于这些"新鲜证据"来回答。

整个 RAG 流程Ke以抽象为六个步骤：Loading → Splitting → Embedding → Storing → Retrieval → Generation。加载负责获取外部知识，切分保证检索粒度合理，嵌入将文本转为可计算的向量，存储建立索引，检索找出相关内容，生成基于检索结果回答问题。漏掉任何一步dou走不通。

这一步简单来说就是把你需要的知识加载进来。这里Zuo了两件事：抓取网页和提取正文。

import { CheerioWebBaseLoader } from "@langchain/community/document_loaders/web/cheerio";
const cheerioLoader = new CheerioWebBaseLoader(
    'https://juejin.cn/post/',
    { selector: '.main-area p' }
);
const documents = await cheerioLoader.load;

CheerioWebBaseLoader 底层使用了 Cheerio——一个在 Node.js 端运行的类 jQuery 库，让你Ke以用 CSS 选择器像操作前端 DOM 一样解析 HTML。selector: '.main-area p' 精确锁定了文章正文区域的所有段落标签，滤掉了导航栏、侧边栏、评论区等噪音。

为什么要切分？因为 LLM 的上下文窗口是有限的，你不可Neng把一整篇文章原封不动地塞进去。这就好比你要往一个容量只有 的背包里装东西，你得把大件物品拆成小块才行。

RecursiveCharacterTextSplitter 是 LangChain 里Zui常用的切割器。它用字符数作为上限，但在切割时有一套"分层降级"的分隔符策略：

import { RecursiveCharacterTextSplitter } from "@langchain/textsplitters";
const textSplitter = new RecursiveCharacterTextSplitter({
    chunkSize: 500,          // 每个文本块的Zui大字符数
    chunkOverlap: 50,        // 相邻文本块之间的重叠字符数
    separators: , // 语义分割符
});
const splitDocuments = await textSplitter.splitDocuments;

tiktoken 是 OpenAI 开源的 Token 计数库，它Neng精确计算任意文本在特定模型下的 Token 数。cl100k_base 是 GPT- 和 GPT--turbo 使用的编码表名称——不同的模型使用不同的编码表，编码表决定了文本如何被切分为 Token。在 RAG 中使用 TokenTextSplitter 时必须指定与目标模型匹配的编码表，否则 Token 计数不准确。

RAG 适合知识频繁geng新、需要可解释性、外部知识注入、低成本快速接入。微调适合需要模型学习特定风格或行为模式、任务定义稳定、对延迟敏感不Neng加检索环节。两者并不互斥，成熟的工业方案往往是 RAG + Fine-tuning 的组合。

"为什么百度不收录我的网站？"这是hen多站长经常问的问题。说实话，这个问题没法一概而论，但常见原因有这些：网站太新、内容质量不高、robots.txt 设置有误、缺乏外链等等。你Ke以对照检查一下自己的网站，是不是犯了这些错误？哈，Ru果你是搞 SEO 的，这应该dou是基础知识了你懂的。

RAG Zui大的优势在于它Neng让 AI "开卷考试"，借助外部知识回答问题。但挑战也不少，比如怎么切分文本、怎么保证检索质量、怎么平衡检索与生成的代价等等。这其实是一个系统工程，需要多方面权衡和优化，不仅仅是调个 API 这么简单。

const retriever = await vectorStore.asRetriever;
const retrievedDocs = await retriever.invoke;
const scoreResults = await vectorStore.similaritySearchWithScore;
retrievedDocs.forEach => {
    const scoreResult = scoreResults.find(
         => scoredDoc.pageContent === doc.pageContent
    );
    const score = scoreResult ? scoreResult : null;
    const similarity = score ? .toFixed : "N/A";
    console.log;
});

- score 可近似转换为相似度百分比。Ru果Zui高分仍然hen低，说明知识库可Neng没有覆盖该问题——此时应触发兜底策略而非强行回答。不然的话，你可Neng会得到一个kan似合理但其实胡编乱造的答案——这在专业领域是要命的，因为它可Neng造成误导！害，所以说怎么设计合理的 fallback 策略，也是 RAG 应用中的一个关键问题。

RAG 目前还处于快速发展阶段，随着向量检索技术的进步和大模型的优化，它在各行各业的应用场景会越来越丰富。Ke以预见的是未来会有geng多基于 RAG 的创新应用涌现，尤其是在专业领域的信息检索和智Neng问答方面。当然啦，这也对我们Zuo技术的人提出了geng高的要求——怎么geng好地结合业务场景优化 RAG，怎么让它geng高效、geng准确，这些dou是值得深入探索的问题。不对不对，应该是持续探索的问题，因为技术永远在路上嘛！哈哈，说实话，这才是我喜欢的技术讨论氛围，没有那么多条条框框，大家dou是真刀真枪地解决问题。咱就是说Nengkan到大家一起交流心得，共同进步，比什么dou开心。你觉得呢？总之啊，RAG 这项技术值得我们深入研究和广泛应用，它的潜力hen大，也hen有前途！加油吧，各位！