嘿，老铁，咱这块儿的 RAG工程，那可真是深山里的大老虎。啥dou得琢磨，其中 chunking 策略，那geng是个大坑。不少人折在上面呢，你懂的。

简单来说chunking 就是把你的文档切成小块儿。这些小块儿，就叫 chunk。咱把这些 chunk 索引起来问个问题的时候，先从索引里找找相关性高的 chunk，然后喂给 LLM回答问题。

这玩意儿就像Zuo菜呢，你想想你Zuo菜的时候，是不是也得把食材切成小块儿？方便烹饪嘛。RAG 也是一样，把文档切小了LLM 才Nenggeng好地理解和利用。

这个嘛……咱得好好琢磨琢磨。一般来说啊，chunk size 越小越精准。因为小块儿geng聚焦，geng容易找到相关的语义信息。

但是！太小了也不行。Ru果每个 chunk dou只讲一句话的事儿，那上下文就没啥关联性了。这时候就需要geng大的 top-k。但是 top-k 越大成本也就越高了。

反过来讲啊，chunk size 越大覆盖的范围就越广了。但是语义就会被稀释掉。这就像一大堆杂七杂八的东西混在一起了似的。

原文："GPT- 于 年 月发布，支持 128K 上下文窗口，定价为每百万 input token $。"→ Proposition : GPT- 于 年 月发布。→ Proposition : GPT- 支持 128K 上下文窗口。→ Proposition : GPT- 定价为每百万 input token $。

咱们得先说清楚一个事儿：embedding 模型啊，它把一段文本压缩成一个向量。这个压缩的过程啊，肯定会有损失的。 Ru果一个 chunk 里混杂了好多主题的内容，那么这个向量就会变得“稀释”，检索的时候语义匹配的精度就会下降。

from langchain_text_splitters import RecursiveCharacterTextSplittersplitter = RecursiveCharacterTextSplitterchunks = splitter.split_text

这是Zui常见的Zuo法了。它会按照一定的规则来切分文本。 这个方法比较灵活易用, 但是有时候会把一个话题切开,导致上下文丢失。

from langchain_experimental.text_splitter import SemanticChunkerfrom langchain_openai.embeddings import OpenAIEmbeddingssplitter = SemanticChunker, breakpoint_threshold_type="percentile" # 或 "standard_deviation")chunks = splitter.create_documents

这个方法比较高大上一点儿。 它会根据语义相似度来切分文本。 也就是说, 它会计算相邻句子之间的 embedding 相似度。 当相似度骤降的时候, 就认为这里是一个语义边界, 然后在此处切割。 这样Zuo的优点是Neng够保留geng多的语义信息, 但缺点是计算成本比较高。

你的文档是什么类型？││├── 长文档，需要精确定位 + 完整上下文│   └── → Parent-Child Chunking│├── 合同 / 法律 / 结构化业务文档│   └── → Document-Structure-First + 结构化 metadata│├── 需要精确引用 + 预算充足│   └── → Proposition Chunking│└── 其他    └── → Recursive Character Splitting，chunk_size=~，overlap=%

from llamaindex.core.nodeparser import HierarchicalNodeParserparser = HierarchicalNodeParser.fromdefaultsnodes = parser.getnodesfromdocuments

选择合适的 chunking 方法真的不容易啊！没有绝对Zui好的方案 ，只有Zui适合你的方案。 记住 ，Chunk 不是越“聪明”越好 。实测数据显示 ，朴素的 Recursive 在大多数场景下依然Zui稳 。

希望这篇笔记Neng帮到你！ Ru果还有什么问题 ，尽管问我哈！咱们一起进步！