第06章：如何从零构建AI RAG检索增强生成系统？

大家好，我是阿聪，咱们今天聊聊 RAG，也就是检索增强生成。RAG Yi经成为大模型领域的一匹黑马，解决大模型知识冻结和幻觉问题。文章会从零开始教你搭建一个完整的 RAG 系统，包括数据准备、向量存储、链式调用等等。

为什么选择RAG？

大语言模型虽然强大，但存在一些局限性：

知识冻结： LLM 在训练时只Neng获取静态数据，无法实时geng新知识库。

幻觉： LLM 可Neng会捏造信息，尤其是当问题涉及专业领域或Zui新事件时。

可解释性差： LLM 的回答缺乏依据，难以追溯答案来源。

RAG 的核心思想是先检索相关文档块，再将这些信息与用户问题结合起来供 LLM 生成答案。这样一来LLM 就有了可靠的知识来源，Ke以减少幻觉并提高准确性。

选择合适的向量数据库是 RAG 的基础。目前主流的向量数据库有 Milvus、FAISS、Chroma 等。我们这里主要介绍 Milvus 和 FAISS：

Milvus: 开源分布式向量数据库，支持 HNSW 索引等高效相似度搜索算法。适合海量数据和高并发场景；

FAISS: Facebook AI Similarity Search 的缩写, 是一个用于快速相似度搜索的库. 适用于本地离线场景和小型数据集；

Chroma: 嵌入在 Python 中的向量数据库, 使用简单方便. 主要针对 LangChain 应用.

在实践中需要根据你的数据量、性Neng要求和开发环境来选择合适的数据库。Milvus 适合生产环境部署，FAISS 则geng适合开发测试阶段或小规模项目. 对于初学者来说, 从 Chroma 开始可Nenggeng容易上手. 后续再迁移到 Milvus 或 FAISS.

Embedding 模型将文本转换为数字向量表示 。不同的 Embedding 模型会生成不同维度的向量 。一般来说越高的维度代表语义越精细, 但计算成本也越高. 选择合适的 Embedding 模型取决于你的应用场景和性Neng需求. 百炼的 text-embedding-v3 是一个不错的选择, 它易于使用且效果不错. LangChain 提供了封装好的 Embedding API, Ke以方便地调用这些模型.

文本分词 将长文档分割成小块 。 分割策略会影响检索精度: Ru果文档内容连贯完整, Ke以采用固定大小的 Chunk; Ru果文档结构不清晰, Ke以采用递归分词器 , 它会根据分隔符进行分割. Chunk size 和 overlap 参数需要根据实际情况调整: 小块Ke以提高精度, 大块Ke以减少计算量; overlap Ke以避免信息丢失但会增加计算量. Chunk 的大小也应考虑模型的上下文窗口限制. 对于中文来说通常建议 chunk_size=1000-2000 tokens 而不是字符数. Chunk size 过大可Neng导致模型无法处理整个 chunk, 需要考虑 truncate/overflow 处理策略 . 为了防止语义断裂, Ke以设置 chunk overlap , 使相邻 chunks 有一定的重叠部分. 这有助于确保上下文连贯性, 但也会增加计算量和存储空间. Ru果文档内容包含大量代码片段或表格数据等特殊格式, 可Neng需要进行特殊处理或跳过某些内容以避免影响 Embedding 的质量或其他错误行为. . 为了优化检索效率, Ke以考虑对 chunks 进行索引排序或者使用其他索引技术. . Zui后还要考虑如何给每个 Chunk 添加元数据来帮助筛选结果. . 元数据Neng帮助筛选掉不可信来源的信息 , 并提供geng丰富的上下文信息.. 对于用户交互式应用,，应该建立对话历史记录, 让 LLM 在生成回复时参考之前的对话内容以及相关上下文信息.. 在应用中要避免重复索引相同的内容, 以减少存储空间和提升检索效率. . 对于多语言文档应该选择对应的 Embedding 模型才Neng保证嵌入质量。. 对于特定领域的文本, 建议使用针对该领域的 Embedding 模型以获得geng好的语义表示力. 在实际应用中应该根据数据的特点调整分割参数和模型选择方案.. 根据业务场景定制分词策略有助于提高检索精度和效率.. 使用 LangChain Text Splitter 时要注意控制 Token 数以避免超出模型的上下文窗口限制.. 对于非英文文本应优先选用中文 Embedding 模型以便准确理解语义.. 一些复杂的实体或者术语可Neng需要手动添加或修正以提升Embedding质量.. 在设计分词策略时要兼顾语义连贯性和检索效率., 尽量保持每个 Chunk 的语义完整性和独立性., 同时也要注意跨 Chunk 的衔接问题., 例如设置适当的Overlap参数来保证相邻 Chunk 内容的一致性...

在构建 RAG 系统时, 需要定义好检索策略 和生成策略。检索是指从向量数据库中找到Zui相关的文档块；生成是指将这些文档块与用户问题结合起来供 LLM 生成答案。 Prompt 设计至关重要: System Message 定义 AI 的角色和行为规则; User Message 是用户的原始问题; Context Message 是从向量数据库中提取的相关信息；Output Message 是 AI 生成的Zui终答案 。 通过组合这些 Messages 构建完整的 Prompt Template ，然后交给 LLM 处理 。 Prompt的设计原则包括清晰明确、结构化组织、提供足够的上下文信息以及引导 AI 输出符合要求的答案格式 。 特别要注意 System Message 中的指令要精确无误 , 以确保 AI 理解并遵循正确的操作规范 。 要避免在 Prompt 中包含敏感信息 , 如 API Key 等 , 以保护系统安全 。 要根据具体应用场景调整 Prompt 参数 , 如 Temperature 、Top P 、Max Tokens 等 , 以优化输出质量和控制生成成本 。

RAG 系统的工作流程通常分为以下几个步骤：

文本准备: 将原始文档分割成小的文本块，并为每个 Chunk 添加元数据。

Embedding 计算: 使用 Embedding 模型将每个 Chunk 转换为 vector embedding 并存入 vector database 中。

Prompt 构建: 根据用户的问题构建 Prompt Template ，其中包含系统消息、用户消息以及相关 context 信息。

Retrieval: 使用 vector database 根据 prompt 查询相关 context 信息。

Contextualization: Ru果需要重构问题以获得geng精确的结果Ke以先用LLM 用户输入的问题为geng明确的问题。

Answer Generation: 将 context 信息与原用户问题一起输入到 LLM 中生成Zui终答案。 7． Result Formatting: 对生成的Answer进行格式化后返回给用户．Ru果希望让AI按照特定的格式输出结果，则需要在prompt里指定该格式．或者通过code来解析结果并将其转化为需要的格式．此外还Ke以添加一些额外的提示语来引导AI按照期望的方式输出结果．例如“请用markdown格式输出”或者“请用JSON格式输出”。

将 RAG 系统从开发环境迁移到生产环境需要考虑以下几点：监控系统性Neng指标 、备份恢复策略以及安全性保障等 。 对于大规模生产环境Ke以使用云服务提供的托管服务来降低运维成本并提升可用性 。 要定期geng新 embedding 模型和 vector database 来保持系统的准确性和性Neng 。 为了防止出现幻觉现象 , Ke以采取多种措施 , 如使用高质量的数据源 、验证 retrieved 文档的相关性和可靠性 、强化 prompt 设计 、限制 LLM 的自由度等 。 要关注Zui新的技术发展趋势 , 并及时geng新系统架构以适应新的挑战 。 在生产环境中要注意日志记录和告警机制 ，以便及时发现并解决潜在问题 。

希望这篇文章Neng帮助你了解 RAG 工作原理及其搭建过程！记住实践是Zui好的老师！