从去年底开始，我便踏上了自学大语言模型的旅程。一路走来Zui让我欣喜的不是跑通了一个玩具 demo，而是把碎散在电脑各个角落的 PDF、Word、笔记文件统统拉进一个“活”起来的私人智库。今天把这套「零成本」方案完整公开，帮助同样想要在本机上玩转 RAG的朋友们少走弯路。

隐私先行：所有文档dou保存在本地，没有任何云端服务器介入，敏感信息不必担心泄露。

高效回溯：搜索向量化后几乎瞬间定位到相关段落，比传统全文检索快上数十倍。

灵活 ：想加新模型、换向量数据库或是 检索逻辑，douKe以直接在代码里调参。

学习价值：从环境配置到代码实现，全链路实践让你对 LLM 背后的技术体系有geng直观的认识。

LlamaIndex是一个专门负责把「外部文件」变成 LLM Neng懂的结构体的框架。它Neng自动读取 PDF、Word、TXT 等多种格式，把文档切分成若干块，再交给嵌入模型生成向量。

Chroma 是一款轻量级、开源的向量数据库。与云端 Milvus 或 Pinecone 不同，它只需要几 MB 的磁盘空间，就Neng在 Windows / Linux 上跑起来支持余弦相似度检索，性Neng足以满足个人项目需求。

Ollama 把 LLaMA、Gemma、Qwen 等主流开源大模型包装成一个跨平台可执行文件。只要下载一次即可在本机启动，无需任何 API Key，也不必担心调用次数限制。

conda create -n rag python=3.11 -y
conda activate rag

# 基础框架
pip install llama-index==0.12.0
# 向量存储适配器
pip install llama-index-vector-stores-chroma
# 本地向量数据库
pip install chromadb==0.5.20
# 中文嵌入
pip install llama-index-embeddings-huggingface==0.4.0
# Ollama 适配器
pip install llama-index-llms-ollama==0.4.0
# 文档解析插件
pip install pypdf python-docx tiktoken

前往 下载对应系统安装包。

双击完成安装后在终端执行 ollama serve 启动守护进程。

拉取轻量模型，例如中文效果不错的 qwen‑tiny：

ollama pull qwen2:7b-instruct-q4_0

提示：Ru果显存只有 8 GB，Ke以先尝试 1 B 或者 2 B 的小模型，再根据实际需求升级。

rag_project/
├── data/               # 放置 PDF/Word/TXT 等原始文件
│   ├── 手册.pdf
│   └── 说明.docx
├── chroma_db/          # Chroma 自动生成的向量目录
├── config.py           # 参数配置文件
├── rag_engine.py       # 核心业务封装
├── query.py            # 简易交互脚本
└── rebuild.py          # 重建索引工具

"""全局配置——无需任何付费 API"""
import os
DATA_DIR = "./data"
CHROMA_PATH = "./chroma_db"
COLLECTION_NAME = "my_knowledge"
EMBED_MODEL = "BAAI/bge-small-zh-v1"
LLM_MODEL   = "qwen2:7b-instruct-q4_0"
CHUNK_SIZE   = 500      # 每块字符数
CHUNK_OVERLAP= 50       # 重叠区域保证上下文连贯
TOP_K        = 4        # 检索返回多少条相似片段

import os, chromadb
from config import *
from llama_index.core import (
    VectorStoreIndex, SimpleDirectoryReader,
    Settings, StorageContext, Document)
from llama_index.vector_stores.chroma import ChromaVectorStore
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama
class RAGEngine:
    def __init__:
        print
        Settings.embed_model = HuggingFaceEmbedding(
            model_name=EMBED_MODEL,
            trust_remote_code=True)
        Settings.llm = Ollama
        client = chromadb.PersistentClient
        collection = client.get_or_create_collection(
            name=COLLECTION_NAME,
            metadata={"hnsw:space": "cosine"})
        self.vector_store = ChromaVectorStore
        self.index = self._build_or_load
        print
    def _build_or_load:
        ctx = StorageContext.from_defaults
        if self.vector_store.collection.count> 0:
            print} 条记录")
            return VectorStoreIndex.from_vector_store(
                vector_store=self.vector_store,
                storage_context=ctx)
        if not os.path.isdir or not os.listdir:
            raise FileNotFoundError
        docs = SimpleDirectoryReader(DATA_DIR,
                                    required_exts=,
                                    filename_as_id=True).load_data
        parser = SentenceSplitter(chunk_size=CHUNK_SIZE,
                                  chunk_overlap=CHUNK_OVERLAP)
        idx = VectorStoreIndex.from_documents(
                docs,
                storage_context=ctx,
                transformations=,
                show_progress=True)
        print} 条向量")
        return idx
    def query -> dict:
        retriever = self.index.as_retriever(
            similarity_top_k=TOP_K,
            vector_store_query_mode="default")
        engine = self.index.as_query_engine(
            retriever=retriever,
            response_mode="compact",
            verbose=False)
        resp = engine.query
        return {
            "answer": str,
            "sources": ,
            "chunks": +"…" for node in resp.source_nodes]
        }
    def stats:
        return {
            "片段总数": self.vector_store.collection.count,
            "嵌入模型": EMBED_MODEL,
            "大语言模型": LLM_MODEL,
            "数据库路径": os.path.abspath
        }

from rag_engine import RAGEngine
def main:
    engine = RAGEngine
    print
    for k,v in engine.stats.items:
        print
    print
    while True:
        q = input.strip
        if q.lower == 'quit':
            print
            break
        if not q:
            continue
        res = engine.query
        print
        print
        for i, in enumerate):
            print
        print
if __name__ == "__main__":
    main

准备好文档：随手把公司的手册、技术白皮书或自己写的笔记塞进 /data.

首次运行：. 程序会自动下载 BGE 嵌入模型，随后构建向量索引，这一步可Neng需要几分钟。