Agent如果只依赖LLM的内置知识，就像一个只靠记忆力的学生——知识有限且会过时。RAG让Agent能从外部知识库中检索专业、实时的信息，明显提高回答的准确性和深度。本章将从全流程解析到高级策略，程序讲解RAG技术。

RAG全流程解析：数据清洗、分块与索引建立

RAG的主要流程

离线阶段：
文档 → 清洗 → 分块 → Embedding → 向量数据库
至于在线阶段。问题 → Embedding → 检索 → 拼入提示词 → LLM生成

数据清洗

原始文档通常格式混乱、包含噪音，清洗质量直接影响检索效果。使用者痛点：“我上传的PDF文档经常出现乱码或多余页眉页脚，导致检索返回无关内容。其实，”

import re
class DocumentCleaner:
"""文档清洗工具"""
def clean -> str:
text = self._remove_boilerplate
text = self._normalize_whitespace
text = self._remove_special_chars
return text.strip
def _remove_boilerplate -> str:
"""移除页眉页脚、版权声明等模板文本"""
patterns =
for pattern in patterns:
text = re.sub
return text
def _normalize_whitespace -> str:
"""规范化空白字符"""
text = re.sub # 多个换行压缩为两个
text = re.sub # 多个空格压缩为一个
return text
def _remove_special_chars -> str:
"""移除不可见字符和乱码"""
return re.sub

文本分块策略

分块是RAG中最关键的环节。说起来，块太大则检索精度低，块太小则上下文不完整。

策略一：固定长度分块

from langchain.text_splitter import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
chunk_size=500,# 每块500字符
chunk_overlap=50,# 块间重叠50字符
separators=。)

策略二：语义分块

按语义边界分块，而非机械切割：

headers_to_split_on=
# 每个chunk会自动携带其所属的标题层级信息

策略三：父-子分块

"子-父”结构可在检索时先用小块提高精度，再用大块提供完整上下文。

from langchain.retrievers import ParentDocumentRetriever
from langchain.storage import InMemoryStore
# 子块分割器
child_splitter = RecursiveCharacterTextSplitter
# 父块分割器
parent_splitter = RecursiveCharacterTextSplitter
vectorstore = Chroma
docstore = InMemoryStore # 存储父块原文
retriever = ParentDocumentRetriever(
vectorstore=vectorstore,docstore=docstore,child_splitter=child_splitter,parent_splitter=parent_splitter。)

索引建立

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings
vectorstore = Chroma.from_documents(
documents=chunks,embedding=embeddings,persist_directory="./knowledge_base",collection_metadata={"hnsw:space": "cosine"} # 使用余弦相似度
)

从高级检索策略来看，混合搜索与重排序技术

基础向量检索的局限

"纯向量检索存在一个根本性问题：语义相似不等于答案相关。" 使用者经常抱怨：“我问如何安装Python，却得到过时或无关内容。”

混合搜索这方面，向量 + 关键词

"混合搜索将向量检索和BM25关键词检索结合，取长补短："

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
# 向量检索器
vector_retriever = vectorstore.as_retriever
# BM25关键词检索器
bm25_retriever = BM25Retriever.from_documents
# 混合检索器
ensemble_retriever = EnsembleRetriever(
retrievers=。weights=
)
results = ensemble_retriever.invoke

重排序

"即使前面两步已经把最相似结果排在前面但最高相似度并不一定是最相关的。重排序模型能更精准评估每条候选结果与查询之间的关系。"

from langchain.retrievers import ContextualCompressionRetriever
from langchain_cohere import CohereRerank
compressor = CohereRerank
compression_retriever = ContextualCompressionRetriever(
base_compressor=compressor,base_retriever=ensemble_retriever # 大量候选再进行重排序筛选5条最相关结果就可以使用。
)
results = compression_retriever.invoke

查询 与

"使用者提出的问题往往过于简短或模糊，LLM可以通过 或 来提高召回率。"

class QueryRewriter:
def __init__:
self.llm = llm
def expand_query -> list:
"""将原始查询
为多个子查询"""
prompt_template =
f"""原始查询：


{original_query}
请生成三个不同角度的子查询。以帮助更全面地获取信息：
1️⃣ 同义词替换版本
2️⃣ 更具体细化版本
3️⃣ 更宽泛上位版本
"""

response   = self.llm.invoke.content.split
return + 

def hydequery->str :
"""HyDE：让LLM先假设性回答，用答案来进行后续检索"""
prompt=f'请回答以下问题，即使不确定也给出最佳猜测:
{originalquery}'
hypoticalanswer=self.llm.invoke.content.strip
return hypoticalanswer




“我的问题描述很简短，导致程序返回的是同类主题但并非所需答案。” 

“想要一次性获取多角度信息，却只能得到单一答案。” 

“缺乏对结果可视化分析，让我无法快速判断哪些是最佳答案。” 

“需要手工
提问才能获得更准确结果。” 

“无法在一次交互中获得多轮反馈。” 

“程序没有自动纠正错误信息的机制。” 

“缺少针对复杂多跳推理场景的支持。” 

“无法解决不同来源间的信息冲突。不过，” 

“知识库更新慢。导致返回过时内容，” 

“对大规模文本处理效率低下”。

“缺少动态增量更新机制”。

","
","

"。"\u2026"



知识图谱与Agent的结合：结构化数据的利用

向量检索的盲区  



... continue ...