RAG检索提高生成 是 AI 领域常用的一种技术，帮助大型语言模型在不需要大规模微调的情况下利用本地知识库提高回答质量。老实说，

使用者常遇到的痛点：

• 微调成本高昂的观点是。全量微调效果好但费用巨大；轻量微调成本低却效果一般。
• 至于有限。LLM 的上下文长度受限，无法一次性记住所有对话。
• 数据隐私与安全：把私有数据上传至云端可能存在合规风险。
• 部署与维护成本：需要额外服务器或 GPU 资源来运行大模型。

1. 在私有领域让 LLM 接入数据。一般有三种方法：

• 全量微调
• 轻量微调
• 建立本地向量数据库

RAG 的主要思路：建立本地知识库，将文本转成向量后存入数据库。LLM 在生成时先检索最相关的向量，再结合这些信息生成答案。从而避免了大规模微调，同时满足了隐私安全和成本控制的需求。

1. 上下文工程

传统做法是把使用者所有对话直接塞进上下文，但这会迅速占满窗口。通过 RAG，可以将历史对话转成向量并存入数据库。只检索与当前问题最相关的几条记录交给 LLM，从而既节省上下文空间，又保持记忆能力。

二、向量数据库简介

• 向量概念：数学中的二维/三维向量在 NLP 中变成数百到数千维的高维 embedding 向量，用来衡量语义相似度。
• 负责将文本转换为高维向量；我们使用 Ollama 本地模型 nomic-embed-text
• 用于存储、查询高维向量；说起来，这里采用 Node.js 简易本地数据库 vectra

准备工作

ollama pull nomic-embed-text
pnpm i ollama
pnpm i vectra

Embedding Demo

import ollama from 'ollama';async function main {
const res = await ollama.embeddings({
从model来看。'nomic-embed-text:latest','
});console.log，}
main;

”.

三、封装将文本转为向量的函数

1. 短文本直接转换：

   
   import ollama from 'ollama';export async function getEmbedding {
   return await ollama.embeddings({
   至于model。'nomic-embed-text:latest',prompt: text
   });}
   

2. 长文本切片后转换：

   
   import { getEmbedding } from './getEmbedding.js';export async function getEmbeddings {
   const chunks = splitText;const embeddings = await Promise.all));return embeddings.map => ({
   vector的观点是。e.embedding,metadata:{ text: chunks }
   }));}
   function splitText{
   const chunks=;let i=0，while{
   chunks.push);按理说，i+=chunkSize-overlap;}
   return chunks;}
   

四、封装向量数据库增删查功能

1. Add text to database:

import path from 'node:path';import { LocalIndex } from 'vectra';import { getEmbeddings } from './utils/index.js';export class SimpleRag{
db=null;indexPath='';constructor{
this.indexPath=path.join;}
async initialize{
const index=new LocalIndex;if)){
await index.createIndex;}
this.db=index;
}
get available{ return this.db!==null，}
// add multiple vectors
async add{
if throw new Error;const embeddings=await getEmbeddings;
const results=;
for{
const res=await this.db.insertItem;results.push;}
return results.filter.map);}
// delete by id
async del{
if) items=;if throw new Error;const res=，for{
await this.db.deleteItem;res.push，}
return res;}
// query top-k similar vectors
async query{
if throw new Error;const vector=).embedding;不过，const result=await this.db.queryItems;return result.map=>({
说到text，item.metadata.text。query:text,similarity:score,id:item.id
}));}
}

五、与本地LLM通信示例

import ollama from 'ollama';话说回来，import { SimpleRag } from '../src/index.js';async function main{
const rag=new SimpleRag;await rag.initialize;// 初始化本地索引
// 从命令行获取使用者问题
const question=process.argv;按理说，// 在本地索引中检索最相关的数据
const matches=await rag.query;// 构造程序提示词，将匹配结果加入上下文
const messages=;// 与本地 Qwen3 模型对话并流式输出结果
const response=await ollama.chat({
至于model。'qwen3.:2b',messages,stream:true
});说起来，for await{
process.stdout.write;}
}
main，

至于使用方法，在终端执行 node ask-your-lib.js "你想问的问题"

六、 & 常见痛点方法概览

• …收集项目文档 → 转成 embedding 向量 → 存入 vectra 数据库 …其实，
• …使用者提问 → 转成 embedding → 在 vectra 查询相似度最高的数据 …
• …将查询结果作为提示词的一部分传递给 LLM …说起来，
• …这样解决了以下痛点：
  • **成本**的观点是。无需大规模 GPU 微调，仅用小型嵌入模型和轻便数据库就可以完成知识库搭建。话说回来，再看****，只检索最近几条最相关记录，大幅减少输入长度。**安全合规**：所有数据保留在本机，不需上传到云端。**可 说到性**，插拔式添加/删除知识片段，支持动态更新。

  …，…，