谁不想拥有一个完全属于自己的、懂你业务逻辑的“贾维斯”？但说实话，直接调用大厂的API，不仅每个月kan着账单肉疼，geng重要的是——数据隐私这根弦，始终悬在头顶。这时候，本地RAG就成了无数开发者眼中的圣杯。

今天我们继续跟随春哥的脚步，深入他的《Agent通关秘籍》第十课。这不仅仅是一篇教程，geng像是一场从零构建私有知识库的探险。Ru果你还在为怎么把一堆乱七八糟的文档喂给AI而发愁，或者对“向量”、“嵌入”这些词感到头大，那不妨坐下来泡杯茶，咱们慢慢捋一捋这其中的门道。

工欲善其事：Ollama，你的本地模型管家

在开始之前，得先解决“弹药”问题。搞本地RAG，你得先有个Neng跑在自家电脑上的模型。以前这事儿麻烦得要死，但现在不一样了。这里必须安利一个神器——Ollama。

你Ke以把它简单理解为模型界的pip或者npm。它是一个自动化的模型管理和下载工具，Neng让你在本地轻松拉取和运行各种大模型。不用配置复杂的环境，不用折腾CUDA，甚至不需要你是个深度学习专家。

咱们得去官网把客户端下下来。安装过程傻瓜式，一路“下一步”就行。装好后打开你的命令行工具——不管你是Windows的cmdPowerShell，还是Mac/Linux下的bash，敲入下面这行命令：

ollama --version

Ru果屏幕上乖乖吐出了版本号，比如显示ollama version is ...，恭喜你，第一步通关了。这时候你可Neng会发现桌面上多了一个GUI图标，老实说那个图形界面咱们暂时用不着，直接无视就好。真正的极客，dou爱用黑底白字的终端。

选对“大脑”：BGE模型与嵌入的艺术

hen多新手容易在这里踩坑。RAG系统里我们需要的不是像DeepSeek v3那种用来聊天的“词向量”模型，而是Neng把整句话变成数学坐标的“句向量”模型，也就是Embedding模型。

春哥在课程里反复强调：计算知识库向量的模型，和后续取问题向量的模型，必须是同一个版本的同一个模型。这就像两个人交流，得用同一种语言，不然就是鸡同鸭讲。

对于本地学习、快速启动来说BAAI/bge-small绝对是首选。它轻量、够用，跑起来不卡顿。咱们直接用Ollama把它拉下来：

ollama pull quentinz/bge-small-zh-v1.5

注意kan这个名字，这是quentinz大佬打包后提供的版本，专门为了方便咱们使用。当然模型和模型之间也是有本质差异的。Ru果你对长文本处理有极高的要求，或者想在生产环境里搞点大动作，那BAAI/bge-m3可Nenggeng对你的胃口。这玩意儿有个独门绝技——混合检索。它不仅Neng输出常规向量，还Neng输出类似关键词权重的稀疏向量，简直是检索界的“瑞士军刀”。不过咱们今天先从简单的入手，把bge-small玩明白再说。

测试一下你的模型是否“在线”

模型下好了别急着写代码，先测通。Ollama启动后会在本地起一个HTTP服务。我们核心思路就是通过这个服务，把我们的私有AI API跑起来。

Ru果你用的是bash，执行下面这行命令：

curl http://localhost:11434/api/embeddings -d '{ "model": "quentinz/bge-small-zh-v1.5", "prompt": "测试一下"}'

Ru果是Windows的cmd或者PowerShell，记得转义一下双引号：

curl http://localhost:11434/api/embeddings -d "{ \"model\": \"quentinz/bge-small-zh-v1.5\", \"prompt\": \"测试文本\" }"

这时候，Zui激动人心的时刻来了。Ru果你Nengkan到终端里返回了一个巨大的JSON数组，那就意味着——你成功了！

这个数组里的每一个浮点数，就是模型对“测试一下”这四个字，从512个不同维度进行的特征评估。这就是传说中的“向量”。在计算机眼里文字不再是字符，而是这串长长的数字坐标。坐标靠得近，意思就相近；离得远，那就是风马牛不相及。是不是有点科幻内味儿了？

搭建环境：Python依赖库的“三驾马车”

模型有了服务通了接下来就该轮到Python出场了。春哥的Demo工程里Yi经准备好了requirements.txt，但咱们得知道每一行代码到底是干嘛的。

在demo工程目录下执行：

pip install -r requirements.txt

或者，Ru果你想手动控制一下Ke以只装咱们Zui核心的三个库：

pip install chromadb ollama langchain-text-splitters

这里面的每一个库dou有它的独到之处：

chromadb这是咱们的“大脑记忆区”，也就是向量数据库本体。它自带一个SQLite数据库，专门用来存元数据。你往里扔什么模型算出来的向量，它就自动锁死什么格式，省心得hen。

ollama这是Python和模型服务之间的“传令兵”。有了它，咱们就Neng在代码里方便地调用刚才那个bge-small模型，把人类语言转化成512维的数学坐标。

langchain-text-splittersLangChain目前是Agent开发界的扛把子，应用Zui广泛，没有之一。但咱们这次不想引入太重的依赖，只用它其中一个hen小的功Neng——拆分器。毕竟大模型胃口小，吃不下整本书，得咱们切成小块喂给它。

实战前的思考：我们到底在构建什么？

环境搭好了咱们得把思路捋清楚。只要思路清楚了用什么工具、用什么语言dou会变得非常容易。

这节课的实战小目标，其实就是一个私人知识库问答Bot。想象一下你扔给AI一份《不正经有限公司正经管理办法》，里面全是稀奇古怪的考勤条例和奇葩规定。然后你问它：“老板迟到怎么罚？”Ru果它Neng一本正经地回答出那些稀奇古怪的内容，而不是跟你扯劳动法，那就说明你的RAG系统生效了！

这比单纯调用一个工具要复杂得多。Agent需要学会：搜索 - 阅读 - 思考 - 再搜索 - 。这就需要引入ReAct 模式，也就是“思考-行动-观察”的循环。甚至到了后期，我们还会用LangGraph这种图的概念来管理复杂的Agent状态。

当然那是后话。咱们现在还在“上”篇，首要任务是解决数据怎么存、怎么取的问题。

为什么文档切片这么重要？

下节课咱们就要开始写代码了首当其冲的就是文档切片。你可Neng会问，直接把整篇文档塞进去不行吗？

还真不行。这就好比你让一个人在一秒钟内读完《红楼梦》并回答问题，神仙也Zuo不到。而且，Ru果切片太大，检索到的内容就会包含大量无关信息，这叫“噪声”；Ru果切片太小，又可Neng丢失上下文，这叫“碎片化”。

所以如何优雅地把文档切成大小合适、语义完整的块，是RAG系统Neng否聪明的关键。春哥在GitHub上Yi经准备好了一个大概2700字的测试文档，里面全是那些稀奇古怪的公司条例，专门用来验证咱们的系统是否生效。

kan到这里你可Neng觉得：“哎？怎么还没开始写代码？”

别急，磨刀不误砍柴工。咱们Yi经搞定了Ollama这个强大的模型管家，选定了BGE-small这个轻量级的句向量模型，拉取了ChromaDB和LangChain这两员大将，甚至还搞懂了怎么用Curl去测试API接口。

这就像Zuo饭前Yi经洗好了菜、备好了料、甚至把火dou开好了。剩下的，就是下锅翻炒的过程。

在接下来的篇章里我们将深入探讨如何利用这些工具，把那些枯燥的文本变成鲜活的向量，存入ChromaDB中，并Zui终实现那个Neng听懂你话、Neng回答你私有问题的智NengAgent。Ru果你对ReAct Loop、全自动研报生成器感兴趣，或者想知道怎么用Function Calling去调用外部工具，那一定要紧跟春哥的步伐。

毕竟在AI这条路上，有个经验丰富的老司机带路，Neng少走不少弯路。咱们下节课，代码见！

附录：相关阅读与参考

Ru果你错过了前面的精彩内容，或者想补补课，Ke以kankan春哥之前的这些热门文章：

春哥的Agent通关秘籍04:智Neng记账小秘书#2

春哥的Agent通关秘籍01:什么是Agent开发#5

春哥的Agent通关秘籍07:5分钟实现文件归类助手#4

春哥的Agent通关秘籍05:工具调用 Function Calling

这些文章涵盖了从环境搭建、语言选择到具体的记账小秘书实战，甚至还有关于Vue和React为什么dou选择Hooks的深度思考。每一篇dou是干货满满，阅读量动辄几百上千，值得你加入收藏夹。

---