春哥的Agent秘籍08：如何从向量到句向量？

兄弟，咱得好好聊聊向量这玩意儿。别kan它听起来高大上，其实就是计算机用来描述事物特征的数字串。就像RPG游戏里每个角色dou有属性一样，力量、智力、敏捷之类的。

在LLM的世界里向量可是个大Boss。模型训练的过程，其实就是把各种人类语言文本变成向量的过程。这样计算机才Neng理解语义，才Neng像你一样清晰地知道骑士和战士geng相似。

以前用的词向量，是把每个词单独变成一个向量。就像给每个单词贴一个标签。优点是细致，缺点是复杂。现在流行的句向量呢？它会把一句话整段地压缩成一个向量。

你说到句向量有什么用？嘿！Ru果你有hen多企业内部文档或者私人的资料需要快速查找，句向量就Neng派上用场。不需要跟你对话，直接找文档里相关度Zui高的段落就行了。

要构建RAG系统，你需要梳理好各个模型和组件。比如生成句向量、存储到数据库等等。

import chromadbimport ollamaclassOllamaEmbeddingFunction:def__init__: self.model_name = model_name def__call__: # 自动调用本地 Ollama 计算句向量 response = ollama.embed return response defname: return self.model_name defmain: client = chromadb.PersistentClient # 获取或创建集合 collection = ...

# 代码示例省略...

一开始我们给角色打三个属性，现在模型要理解人类语言的话，维度就得爆炸了！可Neng达到1024个甚至geng多维度来描述一句话的特征。

比如有一条关于“严禁在生产环境直接修改数据库”的规定。模型Ke以把这句话压缩成一个 “高强制性 + 纯技术领域 + 警告语气” 的坐标点。

总而言之，从词向句的转变让计算机Nenggeng好地理解人类语言的语义关系。构建RAG系统时掌握句向量的方法就是核心之一.