向量模型扮演着至关重要的角色。无论是构建RAG系统，还是进行语义搜索，一个稳定、高效的向量化服务dou是基础设施中的“地基”。hen多开发者一提到部署模型，脑子里蹦出来的第一个词往往是“Ollama”，或者认为必须得有一块昂贵的NVIDIA显卡才Neng跑得动。

其实这种想法多少有点刻板印象了。说实话，我一开始也是这么以为的，总觉得没有GPU这事儿就办不成。但经过这次实际摸索，我发现对于向量模型这种相对轻量级的“小家伙”来说即便是在没有独立显卡的普通PC上，我们完全Ke以通过CPU进行推理，虽然速度上肯定比不上显卡阵列，但用来Zuo个测试或者小规模的服务，完全是绰绰有余的。哎，说到这里我就心疼我的笔记本，配置全堆到内存上了有30GB内存，偏偏就是缺个独显，不过这次正好派上了用场。

今天我就手把手教大家如何利用Python生态中的FastAPI和ModelScope，从零开始搭建一个兼容OpenAI格式的向量模型服务。我们不需要依赖复杂的Docker容器，也不需要那些臃肿的框架，只要几行代码，就Neng让大模型在本地跑起来。

在开始写代码之前，我们得先把“地基”打好。既然要自己动手，Python环境是少不了的。为了不把系统搞乱，强烈建议大家在执行命令之前，先为当前的操作创建一个专门的Python虚拟环境。这就像是在工地上搭个临时围栏，既安全又干净。

我们需要安装几个核心库：fastapi用于构建Web服务，uvicorn作为ASGI服务器，torch是深度学习的基石，transformers和modelscope则用于加载模型。打开你的终端，敲入以下命令：

pip install fastapi uvicorn torch transformers modelscope sentence-transformers

安装过程可Neng需要一点时间，特别是下载PyTorch的时候，Ru果你的网络环境不太理想，不妨去泡杯咖啡。等所有依赖dou就位后我们就Ke以进入下一步了。

以前我们要下载Hugging Face上的模型，那网络速度简直让人抓狂。不过现在国内有了魔搭社区，你Ke以把它理解为中国大模型界的GitHub。有了它，下载模型就变得像从网盘拉文件一样顺畅。

我们这次要部署的是BAAI出品的bge-large-zh-v1.5模型，这可是目前中文语义表征领域的佼佼者。为了方便下载，我们需要安装魔搭的命令行工具：

pip install modelscope

安装完成后使用下面这条命令开始拉取模型文件。根据实际体验，下载速度还是hen快的，没一会儿就Neng搞定：

modelscope download --model BAAI/bge-large-zh-v1.5

Ru果你是在Windows系统下进行操作，这里有一个非常典型的“坑”需要提醒大家。在下载过程中或者后续加载时你hen可Neng会在终端里kan到类似这样的红色警告：

WARNING - Failed to create symbolic link C:\Users\xxx\.cache\modelscope\hub\BAAI\bge-large-zh-v1.5 for C:\Users\xxx\.cache\modelscope\hub\models\BAAI\bge-large-zh-v1___5...

这通常是因为Windows的权限机制或者文件系统限制导致无法创建符号链接。虽然这不一定致命，但为了保险起见，我们Zui好手动帮系统完成这个“链接”工作。我们Ke以使用Windows自带的mklink命令来解决这个问题。

注意，执行这条命令之前，请确保目标目录bge-large-zh-v1.5是不存在的，Ru果Yi经有了请先手动删除掉，否则命令会报错。以管理员身份运行CMD或PowerShell，执行：

mklink /j "C:\Users\xxx\.cache\modelscope\hub\BAAI\bge-large-zh-v1.5" "C:\Users\xxx\.cache\modelscope\hub\models\BAAI\bge-large-zh-v1___5"

搞定这一步，模型下载和路径配置的准备工作就算圆满完成了。

接下来就是重头戏了——编写服务端代码。我们将创建一个名为bge_api_server.py的文件。这个脚本不仅要加载模型，还要提供一个标准的HTTP接口，为了方便后续接入各种应用，我们特意把接口格式Zuo得和OpenAI以及阿里云的API保持一致。

下面是完整的代码实现，别kan代码行数多，其实逻辑非常清晰：

from fastapi import FastAPI
from pydantic import BaseModel
from modelscope import AutoModel, AutoTokenizer
import torch
import uuid
# ===================== 配置区域 =====================
# 这里填写你刚才下载模型的实际路径
MODEL_PATH = r"C:\Users\xxx\.cache\modelscope\hub\BAAI\bge-large-zh-v1.5"
HOST = "0.0.0.0"  # 监听所有网卡
PORT = 8000       # 端口号
# 自动检测是否有CUDA，也就是NVIDIA显卡，没有就用CPU
DEVICE = "cuda" if torch.cuda.is_available else "cpu"
# ===================== 模型加载 =====================
app = FastAPI
print
print
# 加载分词器和模型本身
tokenizer = AutoTokenizer.from_pretrained
model = AutoModel.from_pretrained.to
model.eval # 切换到评估模式，这hen重要
# ===================== 定义请求体 =====================
# 必须和OpenAI/阿里云的格式保持一致，这样前端调用时无需改代码
class EmbeddingRequest:
    input: list | str  # 支持传入单个文本字符串，或者文本列表
    model: str = "bge-large-zh-v1.5"
# ===================== 向量计算逻辑 =====================
def get_embeddings:
    # 简单的预处理，把换行符替换掉，防止干扰
    texts = 
    # 分词、截断、Padding，这是标准操作
    inputs = tokenizer(
        texts,
        max_length=512,
        truncation=True,
        padding=True,
        return_tensors="pt"
    ).to
    # 开始推理，不计算梯度以节省内存
    with torch.no_grad:
        outputs = model
    # BGE模型的标准取法：取Zui后一层隐藏状态的第一个token
    embeddings = outputs.last_hidden_state
    # 归一化处理，让向量长度为1，方便计算余弦相似度
    embeddings = torch.nn.functional.normalize
    # 转回CPU并转成Python列表返回
    return embeddings.cpu.numpy.tolist
# ===================== API接口定义 =====================
@app.post
async def embedding:
    # 统一处理输入，Ru果是单个字符串就转成列表
    if isinstance:
        texts = 
    else:
        texts = req.input
    # 获取向量
    vectors = get_embeddings
    # 组装返回数据，完全模仿OpenAI的JSON结构
    data = 
    for i, vec in enumerate:
        data.append({
            "embedding": vec,
            "index": i,
            "object": "embedding"
        })
    return {
        "data": data,
        "model": "bge-large-zh-v1.5",
        "object": "list",
        "usage": {
            "prompt_tokens": 0, # 这里简化处理，实际Ke以计算token数
            "total_tokens": 0
        },
        "id": str) # 生成一个唯一的请求ID
    }
# ===================== 启动服务 =====================
if __name__ == "__main__":
    import uvicorn
    uvicorn.run

代码写好了保存文件。接下来就是激动人心的时刻了。在终端中运行这个Python脚本：

python bge_api_server.py

Ru果一切顺利，你的屏幕上应该会弹出类似下面的日志信息。kan到这些字样，就说明你的服务Yi经成功在后台监听了：

INFO:     Started server process 
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 

这时候，你Ke以打开Postman或者用curl发一个POST请求到http://127.0.0.1:8000/embeddings，扔给它一段中文文本，kankan它Neng不Neng吐出一串长长的浮点数数组。根据实际体验，在CPU上运行速度还凑合，处理单条文本基本是秒级响应，用来Zuo个个人知识库的向量化服务完全没问题。

本篇教程其实只是一个极简单的示例，旨在打破大家对模型部署的恐惧心理。有了这个基础，其实像Rerank模型的部署也是同理，因为它俩在技术栈上差不多，dou是基于Transformer的编码器结构。

理论上，大语言模型也是Ke以这样部署的，当然这只是理论上。实际上LLM的部署会复杂得多，通常需要引入vLLM、TGI之类的推理加速框架，还需要geng复杂的服务框架来处理流式输出和显存管理。

但对于向量模型来说这套FastAPI + PyTorch的方案Yi经足够优雅和轻量了。希望这篇文章Neng帮到那些想在本地折腾AI应用的朋友们。别被那些复杂的名词吓倒，动手跑起来你会发现其实也没那么难！