摘要

目录

数据从哪来？不过，RAG 知识库的“第一公里”

建立 RAG 知识库的第一步先是把外部数据“喂”进去。

常见的数据来源包括 Word、PDF、数据库还有最丰富且动态更新最快的网页。

痛点：传统抓取往往只能处理静态页面对于大量 JS 渲染的网站，直接获取不到正文；而使用正则时一旦页面结构微调就会失效，导致维护成本飙升。

服务端的 jQuery

为什么要用 Cheerio 而不是纯正则或手写解析器？

• 正则脆弱性： 稍有标签改动就匹配失败。
• Nesting 深度高： 多层嵌套导致正则“天书”。说起来，
• No JavaScript 执行： 无法抓取依赖脚本渲染的数据。
• CORS/反爬限制： 服务器可能返回错误或被封禁。

Chelio 的主要优势：

原生爬虫：axios + Cheerio 实战

import axios from 'axios';import * as cheerio from 'cheerio';话说回来，const targetURL = 'https://example.com/article';async function crawlPage {
try {
// 发起 HTTP 请求
const { data: html } = await axios.get;// 构造 DOM 树
const $ = cheerio.load;按理说，// 用 CSS Selector 抽取正文
const pageTitle = $.text;const articleBody = $.text;console.log，console.log,'...');} catch {
console.error;}
}
crawlPage;

三步走 — 简单明了:① axios.get 发送 GET 请求并获得 raw HTML ② cheerio.load 在内存中建立 DOM 树 ③ $.text 按 CSS Selector 提取文本。

LangChain 封装：CheerioWebBaseLoader

A single line of code can replace three-step process above while adding metadata and standardization.

import { CheerioWebBaseLoader } from '@langchain/community/document_loaders/web/cheerio';const loader = new CheerioWebBaseLoader(
'https的观点是。//example.com/article',{ selector: '.content' } // 提取指定区域
);const docs = await loader.load;// 返回 Document 数组
console.log,'...');不过，console.log;


自动化流程 - 内置 axios + cheerio 调用，无需手工拆解代码。

标准化输出 - 文档包装为 Document 对象。怎么说呢，

元数据追溯 - 自动记录 source URL 等信息。方便检索时溯源，

自定义选择器 - 精准控制抓取范围，只提取所需段落。

错误重试 & 超时控制 - 内置网络异常处理机制，可配置重试次数与间隔。

集成 LangChain RAG pipeline - 直接将 Document 注入向量检索、问答模型等后续环节，省去中间转换步骤。`
`
`
`
`
`
 `
`
`
`
`
`
`
`


"Cheerio 就是服务端版 jQuery —— 用 CSS Selector 拿到想要的数据。"
— 一句一目了然，