在构建基于大语言模型的应用时我们经常会遇到一个棘手的现实问题：模型的上下文窗口是有限的。无论你手头的资料是几百页的技术白皮书，还是海量的代码仓库，直接把所有内容一股脑塞给模型显然行不通。这就引出了本章的核心议题——如何像庖丁解牛一样，将庞大的外部数据高效地加载进来并精准地切割成模型既Neng理解、又Neng消化的碎片。这不仅是RAG系统的基石，geng是决定应用智Neng程度的关键一步。

一、 文档加载：打通数据源的第一公里

一切数据处理的前提，dou是先把数据“请进来”。LangChain之所以强大，就在于它构建了一个庞大的文档加载器生态。无论你的数据沉睡在本地磁盘，还是隐藏在复杂的网页结构中，dou有对应的工具来唤醒它们。

1.1 基础文本与PDF文档的读取

对于Zui基础的`.txt`文件，TextLoader是我们的首选。它简单直接，Neng够迅速将本地文件转化为LangChain标准的Document对象。每个对象dou包含page_content和metadata两大属性。

from langchain.document_loaders import TextLoader
# 加载本地txt文件
loader = TextLoader
documents = loader.load  # 返回List
# 查kanDocument对象结构
print)
print  # 截取前100字符
print

然而现实中的文档往往没那么简单。PDF作为企业中Zui常见的格式，其处理难度也各不相同。Ru果你的PDF只是纯文本，那么PyPDFLoader足以胜任，它轻量且快速，Neng自动按页切分并保留页码信息。

from langchain.document_loaders import PyPDFLoader
# 1. 初始化加载器
loader = PyPDFLoader  # 替换为你的PDF路径
# 2. 加载文档
documents = loader.load
# 3. 查kan结果
print}")
print
print  # 包含页码和来源

但面对那些排版复杂、包含大量表格和图片的PDF时简单的读取器就显得力不从心了。这时候，我们需要祭出大杀器——UnstructuredPDFLoader。它虽然速度稍慢，但Neng深度解析文档元素，保留段落、表格甚至图片的结构信息。

from langchain.document_loaders import UnstructuredPDFLoader
# 1. 初始化加载器
loader = UnstructuredPDFLoader  # mode="elements"保留文档元素结构
# 2. 加载文档
documents = loader.load
# 3. 查kan结果
print}")
print
print  # 包含元素类型

1.2 网页抓取与反爬虫的博弈

除了本地文档，互联网上的海量信息也是我们的重要数据源。LangChain提供了URLLoader，Neng够通过URL直接加载网页，自动清洗HTML标签，提取纯文本。

from langchain.document_loaders import URLLoader
# 1. 初始化加载器
urls = 
loader = URLLoader
# 2. 加载网页内容
documents = loader.load
# 3. 查kan结果
print}")
print
print  # 包含网页URL

不过开发中我们常会遇到带有反爬机制的网站。这时候，内置的加载器可Neng会碰壁。别担心，我们Ke以通过继承BaseLoader类，自定义一个加载器，添加User-Agent、Cookie等请求头，模拟浏览器行为，轻松绕过限制。

from langchain.document_loaders.base import BaseLoader
from langchain.schema import Document
from typing import List
import requests
from bs4 import BeautifulSoup
class CustomURLLoader:
    def __init__:
        """初始化，传入URL列表和请求头"""
        self.urls = urls
        # 默认请求头
        self.headers = headers or {
            "User-Agent": "Mozilla/5.0  AppleWebKit/537.36  Chrome/91.0.4472.124 Safari/537.36"
        }
    def load -> List:
        documents = 
        for url in self.urls:
            try:
                # 发送请求，添加请求头
                response = requests.get
                response.raise_for_status  # 抛出HTTP错误
                # 解析HTML，提取文本
                soup = BeautifulSoup
                text = soup.get_text  # 去除多余空格和换行
                # 生成Document对象
                doc = Document(
                    page_content=text,
                    metadata={"source": url, "status_code": response.status_code}
                )
                documents.append
            except Exception as e:
                print}")
        return documents
# 测试自定义网页加载器
urls =   # 替换为需要加载的网页
loader = CustomURLLoader
documents = loader.load
if documents:
    print

1.3 办公文档与表格数据的处理

Word文档在办公场景中无处不在。Docx2txtLoader是处理这类文件的利器，它轻量且无冗余，Neng快速提取文本内容。虽然它对复杂表格和图片的支持有限，但对于大多数常规文档来说Yi经足够。

from langchain.document_loaders import Docx2txtLoader
# 1. 初始化加载器
loader = Docx2txtLoader  # 替换为你的Word路径
# 2. 加载文档
documents = loader.load
# 3. 查kan结果
print}")
print
print

至于Excel表格，我们通常使用PandasExcelLoader。它利用Pandas的强大Neng力，将表格数据转化为文本流。在分割时我们通常按行进行切分，以确保每一行数据的完整性，避免将一条记录拆散到两个块中。

from langchain.document_loaders import PandasExcelLoader
from langchain.text_splitter import CharacterTextSplitter
# 1. 加载Excel表格
loader = PandasExcelLoader  # 指定工作表
documents = loader.load  # 加载后表格数据转换为文本格式
# 2. 分割表格文本
text_splitter = CharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=0,
    separator="
"  # 按行分割
)
chunks = text_splitter.split_documents
# 3. 查kan结果
print}个行块）：")
for chunk in chunks:
    print

二、 文本分割：在语义与窗口间寻找平衡

数据加载进来后往往还是一大坨。这时候，文本分割就登场了。它的目标hen明确：将长文本切分成符合模型上下文窗口的小块，同时尽可Neng不破坏语义的完整性。

2.1 递归字符分割器：官方推荐的“万金油”

在众多分割器中，RecursiveCharacterTextSplitter是当之无愧的明星。它的核心逻辑非常聪明：按优先级递归分割。它会先尝试按段落切，Ru果切下来的块还是太大，就按句子切，再不行就按单词切，Zui后才按字符硬切。这种策略Zui大程度地保留了语义边界。

from langchain.text_splitter import RecursiveCharacterTextSplitter
# 模拟带段落的长文本
text = """
## 1. 支持的文档格式
## 2. 使用Unstructured、PyPDF、Docx2txt加载器
PyPDF适合轻量PDF加载，Docx2txt适合Word加载，Unstructured适合复杂排版文档加载。
## 3. 自定义Document Loader
开发自定义加载器需继承BaseLoader类，重写load方法，实现自定义加载逻辑。
"""
# 按段落分割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=0,  # 段落分割可无需重叠
    separators=  # 仅按空行分割
)
chunks = text_splitter.split_text
print}个段落）：")
for chunk in chunks:
    print

这里有两个关键参数：chunk_size决定了每个块的Zui大长度，而chunk_overlap则控制相邻块之间的重叠长度。适当的重叠Neng有效避免语义在边界处的断裂，让模型在理解上下文时geng加平滑。

from langchain.text_splitter import RecursiveCharacterTextSplitter
# 1. 复用上面的长文本
long_text = """LangChain是一个用于构建大语言模型应用的框架。它提供了丰富的组件，包括文档加载器、文本分割器、提示模板、输出解析器、链式调用等。文档加载器用于加载不同格式的外部文档，如PDF、Word、HTML等。文本分割器用于将长篇文档分割为符合模型上下文窗口的文本块，避免超过模型限制。提示模板用于标准化模型输入，提升输出质量。输出解析器用于将模型的自由文本输出转换为结构化数据，便于后续处理。"""
# 2. 初始化RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    length_function=len  # 按字符长度计算
)
# 3. 分割文本
chunks = text_splitter.split_text
# 4. 查kan结果
print}")
for i, chunk in enumerate:
    print}）：{chunk}")

2.2 代码与特定语言的分割

处理代码文件时普通的字符分割器往往会把一个函数或类从中间截断，导致代码无法运行或理解困难。针对这种情况，LangChain提供了LanguageParser。它Neng理解Python、Java、JavaScript等语言的语法结构，按函数、类等逻辑单元进行分割，确保每个代码块dou是语法完整的。

from langchain.document_loaders import TextLoader
from langchain.text_splitter import LanguageParser
# 1. 加载Python代码文件
loader = TextLoader
documents = loader.load
# 2. 初始化代码分割器
code_splitter = LanguageParser(
    language="python",
    chunk_size=1000,
    chunk_overlap=0
)
# 3. 分割代码
chunks = code_splitter.split_documents
# 4. 查kan结果
print}个块）：")
for chunk in chunks:
    print
    print

2.3 基于NLP的句子级分割

Ru果你需要geng精细的控制，比如要求每个文本块必须是一个完整的句子，那么NLTK或Spacy分割器就是你的不二之选。它们利用自然语言处理库的模型来识别句子边界，比简单的正则匹配要准确得多，尤其适合处理复杂的标点符号情况。

from langchain.text_splitter import NLTKTextSplitter
# 1. 安装依赖
# pip install nltk
# 首次使用需下载nltk数据：import nltk; nltk.download
# 2. 初始化句子分割器
text_splitter = NLTKTextSplitter
# 3. 分割文本
text = "LangChain是一个强大的框架。它支持文档加载、文本分割等功Neng。开发者Ke以用它快速构建LLM应用。"
chunks = text_splitter.split_text
print}个句子）：")
for chunk in chunks:
    print

三、 元数据管理：给数据贴上“身份证”

在RAG系统中，Document对象不仅包含文本内容，还携带了metadata。这些kan似不起眼的信息——来源、页码、作者、上传时间——却是后续检索和追溯的关键线索。

3.1 注入自定义元数据

LangChain默认会生成一些基础元数据，但在实际业务中，我们往往需要补充geng多信息。比如在加载公司制度文档时我们可Neng需要标注“部门”、“文档类型”等字段。这Ke以通过遍历Document列表并调用metadata.update方法轻松实现。

from langchain.document_loaders import PyPDFLoader
from langchain.schema import Document
# 1. 加载PDF文档
loader = PyPDFLoader
documents = loader.load
# 2. 注入自定义元数据
custom_metadata = {
    "document_type": "公司制度",
    "department": "人力资源部",
    "upload_time": "2023-10-27"
}
# 为每个Document对象添加自定义元数据
for doc in documents:
    doc.metadata.update
    # 可选：修改默认元数据
    doc.metadata = f"第{doc.metadata}页"
# 查kan注入后的元数据
print
print
print

3.2 分割后的元数据继承与增强

当长文档被分割成多个小块后子块会自动继承父文档的元数据。此外我们还Ke以为每个子块添加独特的标识，比如chunk_id或total_chunks。这对于后续的文本块管理、去重以及结果展示非常有帮助。

from langchain.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 1. 加载文档
loader = TextLoader
documents = loader.load
# 2. 文本分割
text_splitter = RecursiveCharacterTextSplitter
chunks = text_splitter.split_documents
# 3. 为分割后的文本块注入元数据
for idx, chunk in enumerate:
    chunk.metadata.update({
        "chunk_id": idx + 1,  # 文本块序号
        "split_time": "2023-10-27 10:00:00",
        "total_chunks": len  # 总文本块数量
    })
# 查kan结果
for chunk in chunks:
    print
    print

四、 实战与避坑指南

掌握了工具之后如何在实际项目中游刃有余地运用它们？这里有一些经验之谈。

选择合适的分割器至关重要。除非你有非常特殊的理由，否则请始终优先考虑RecursiveCharacterTextSplitter。它在语义保留和灵活性之间取得了Zui佳的平衡。只有当处理完全无结构的字符流时才考虑使用基础的CharacterTextSplitter。

参数配置要因地制宜。chunk_size建议设置为模型上下文窗口的70%-80%，为Prompt和输出留出空间。而chunk_overlap则建议设置为chunk_size的10%-20%，以确保上下文的连贯性。

Zui后别忘了异常处理。在批量加载文档时文件路径错误、编码格式不匹配、网络请求超时等问题层出不穷。务必在代码中加入完善的try-except块，确保单个文件的失败不会拖垮整个流程。

通过本章的学习，我们不仅解决了“如何加载”和“如何分割”这两个技术问题，geng重要的是我们建立了一套处理非结构化数据的系统化思维。接下来我们将把这些处理好的文本块存入向量数据库，为构建智Neng问答系统打下坚实的基础。下一章，敬请期待！

---