在建立 RAG程序时文本分块是首要且不可忽视的一步。若未正确切块，后续检索与向量化都可能出现问题。

痛点一这方面，文档过大导致向量化失败

多数 Embedding 模型的只有 512 token。其实，当原始文档超过此阈值时模型无法完整编码，产生错误或低质量向量。

痛点二的观点是。分块过小导致语义缺失

把文本切成太小的块会使检索更精准，但往往丢失上下文。比如使用者搜索“苹果”，只返回一个 500 字符的小块。却无法让模型判断是关于水果、科技产品还是公司名称。

痛点三的观点是，单段落过大不再切分

使用默认按段落切分时如果某个段落本身就很长。CharacterTextSplitter不会 拆分，从而超出 Embedding 窗口。

按段落分块

from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader
loader = TextLoader
docs = loader.load
text_splitter = CharacterTextSplitter(
chunk_size=200,# 目标块大小为 200 字符
chunk_overlap=10 # 块之间重叠 10 个字符
)
chunks = text_splitter.split_documents
print} 个块。")
print
for i,chunk in enumerate:
print
print}): "{chunk.page_content}"')

再看注意。

• 大段落不再拆分如果单个段落超过 chunk_size仍保持不拆。
自动合并短段落：若段落太短，会合并后续段落直到达到 chunk_size.

递归字符分块

from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader
loader = TextLoader
docs = loader.load
text_splitter = RecursiveCharacterTextSplitter(
separators=,# 优先级高到低
chunk_size=200,chunk_overlap=10,)
chunks = text_splitter.split_documents
for i。chunk in enumerate:
print
print

适配编程语言专用分隔符：

# 针对代码文档的调整
splitter = RecursiveCharacterTextSplitter.from_language(
language=Language.PYTHON,chunk_size=200,chunk_overlap=10
)

结构化文本分块

from langchain_core.documents import Document
headers_to_split_on =
text_splitter = RecursiveCharacterTextSplitter(
separators=headers_to_split_on,strip_headers=False # 保留标题便于 LLM 理解
)
md_chunks = text_splitter.split_documents
for i,chunk in enumerate:
print
print

语义分块

基于 Embedding 判断句子间语义相似度，在主题明显变化处进行切割。避免因纯粹的字符规则导致的大块或小块不匹配。怎么说呢，

开源工具 & 可视化工具

• : 强大的文档处理与分块功能。
• : 简易可视化查看切割结果。

如何解决 “小块精确但缺乏上下文” 的？怎么说呢，

• SENTENCE WINDOW RETRIEVAL:

① 在检索阶段使用细粒度以获得高精确度；② 将检索到的小块周围若干句子一起送入 LLM，以恢复完整语义。

• META‑DATA 丰富化:

在每个 {Document}'s .metadata 中加入：

• ID、父 ID、文件名、创建日期、业务线等信息；
• 前后句子片段，用来补全上下文。

# 示例：给每个 Chunk 添加元信息
for doc in self.documents:
for i,chunk in enumerate:
chunk.metadata.update({
"chunk_id": child_id。"parent_id": parent_id,"doc_type": "child","chunk_index": i
})

• "先过滤，再搜索": 根据业务线、文件类型等元数据先过滤，再进行向量检索，可明显提高效率与准确率。
• **关键提示**：在发送给 LLM 时为了让模型区分独立段落，请使用双换行符 。而非单换行 .
• 双换行代表“新段落”，对...有帮助 LLM 将每个片断视为独立上下文来源。