Zui近在学大模型相关的工程实践，RAG是绕不开的一块。

为什么要这么绕？因为大模型本身有三个硬伤：

咱就是说大模型的回答有时会胡编乱造，你也不知道它哪句话是真的、哪句话是假的。

知识geng新是个大问题——训练一次太贵了经常训不过来。

还有领域知识问题——专有文档、公司内部资料，大模型根本没见过。

RAG 通过"先查再答"把这三个问题dou缓解了——知识在外挂的向量库里想geng新就重新入库，不用重新训模型。

我不想从"调用 OpenAI API + LangChain"开始——那会让我学到的是"怎么用某个框架"，而不是"RAG 到底是什么"。

我想要的是：没有 API Key，没有云服务，一台 RTX 的笔记本从零跑起来的 RAG demo。

于是花了一个周末，Zuo了一个总共只有四个依赖包、核心代码 行的 RAG demo。

这篇文章记录从选型到踩坑的完整过程。

流程只有六步：

加载文档 → 切分成 chunk → 向量化 → 入向量库 → 相似度检索 → 喂给 LLM 生成答案

第一步到第四步是"建索引"，Zuo一次就好；第五、六步是每次提问dou要Zuo的。

整个 RAG pipeline 就是一个 RAGPipeline 类，六个方法对应六个步骤。挑关键点讲讲。

起手Zui简单的Zuo法是"每 字切一段，相邻段重叠 字"。重叠是为了避免一句话正好被切在两段中间，两边dou捞不到关键信息。

为什么是 字？这是个经验折中——chunk 太大语义稀释，太小又缺上下文。

每个 chunk 过一遍 BGE 模型，变成一个固定长度的向量，塞进 Chroma。这里有两个容易踩的细节：

Chroma 默认用的是欧氏距离，对文本相似度不合适，要手动指定成 cosine。我第一次跑的时候没注意这个，检索出来的结果莫名其妙，排查了半小时才发现。

用户问题过同一个 embedding 模型转成向量，然后在 Chroma 里找 top-k Zui相似的。同一个模型这点hen关键——不然向量空间对不上，结果全是乱的。

RAG 的灵魂在 prompt 里这两句：

你是一个严谨的问答助手. 请只根据下面提供的资料片段回答用户问题.Ru果资料里没有相关信息, 直接回答"资料中未提及", 不要编造.

这就是在压制幻觉。再加上要求它末尾标注引用的片段编号，就Zuo到了"可追溯"——用户kan到答案Neng知道是从哪几段推出来的。

特意没用 LangChain/LlamaIndex。它们适合快速搭产品，但会把 RAG 的每一步藏在抽象层后面学习阶段反而kan不清到底发生了什么。等我把每一步dou手搓一遍、理解透了再用框架才有意义。

MKL 符号未定义：iJITNotifyEventImportError: /home/.../libtorchcpu.so:

$ pip install torch --index-url https://download.pytorch.org/whl/cu121 $ python -c "import torch; print)"RAG系统的无限可Neng

b探索构建检索增强生成系统 的无限可Neng。使用 RAG 时: 你需要领域特定的准确性。你的数据经常变化,并且不在 LLM 的训练集内。你希望通过将回答基于检索到的证据来减少幻觉现象。什么时候应该使用 RAG 而不是独立的大模型? 使用 RAG 时: 你需要领域特定的准确性。你的数据经常变化,并且不在 LLM 的训练集内。你希望通过将回答基于检索到的证据来减少幻觉现象。为什么向量数据库对 RAG 至关重要? 它们Neng够处理数十亿个嵌入向量,并提供毫秒级的检索速度。Ru果没有向量数据库,检索过程将成为瓶颈porrfvarsgetAllTele 我的硬件是 RTX Mobile+ 32GB 内存。选型原则是“小而够用” 选了 PyTorch + sentence-transformers Zuo embedding。 Chroma 当向量库——它足够简单，API 也友好。 llama.cpp 跑本地 LLM。 Gradio Zuo简单的 web 界面。