谁不想在自己的电脑上塞进一个“Zui强大脑”？那种完全离线、隐私安全、且不用kan云端API脸色的感觉，简直太棒了。但是直接用原生的Transformers库来跑模型，速度慢得让人想砸键盘，显存占用geng是像无底洞。别急，今天我们就来聊聊如何用vLLM这个神器，在本地搭建一个高性Neng的大模型环境。这不仅仅是一篇教程，geng像是我们一起折腾Linux的实战记录。

一、 准备工作：给电脑装上“强健的心脏”

工欲善其事，必先利其器。在开始之前，我们得先确认一下你的“战场”环境。这次我用的系统是Pop!_OS，基于Ubuntu的发行版，对NVIDIA显卡的支持非常友好。当然你在其他Linux发行版上操作也大同小异，稍微变通一下就行。

你得有一块NVIDIA的显卡。这是硬门槛，毕竟vLLM是靠CUDA吃饭的。除了硬件，软件层面的基石——GPU驱动、CUDA和cuDNN也得提前安排好。这里我有个小建议：尽量手动去安装显卡驱动，虽然系统自带的也Neng用，但手动安装Neng让你geng清楚自己在干什么而且版本控制geng自由。

比如我手里这张卡是RTX系列，为了压榨它的性Neng，我特意安装了580版本的驱动。安装过程其实hen简单，一条命令就Neng搞定：

apt install nvidia-driver-580-open

敲完回车，喝口水，等它安装完毕。重启系统是必须的，这就像给电脑睡个醒，醒来后它就认识了新硬件。重启完，赶紧输入那个经典的命令来kankan显卡状态：

gillbert@pop-os:~$ nvidia-smi
Sat Apr 20 10:23:15 2024       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03   Driver Version: 535.129.03   CUDA Version: 12.2     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090D      Off | 00000000:01:00.0 Off |                  N/A |
| 30%   42C    P8             12W /  175W |      1MiB /  8192MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

kan到这张表，尤其是显存那一栏显示正常，心里就踏实了一半。这说明你的GPUYi经准备好大干一场了。

二、 搭建沙盒：Conda虚拟环境配置

说实话，我不喜欢把Python的包乱七八糟地装在系统全局环境里那样迟早会把系统搞崩。为了我们的“大模型实验”安全起见，创建一个干净的虚拟环境是Zui佳实践。这里我依然选择使用Conda，它就像一个隔离的沙盒，怎么折腾dou不会影响外面。

我们Ke以先创建一个叫`llm`的环境，Python版本嘛，选个稳定点的，比如3.10或者3.11dou行：

# 创建一个名为llm的虚拟环境
conda create -n llm python=3.10
# 激活这个环境
 gillbert@pop-os:~$ conda activate llm
 gillbert@pop-os:~$ 

kan到命令行前面变成了``，说明我们Yi经成功进入了这个专属空间。接下来所有的操作，dou在这个“屋子”里进行。

三、 请来“大脑”：下载大模型

环境有了现在得把“大脑”请进来。这里我们以通义千问模型为例，毕竟它在中文社区表现不错，而且对显存的要求相对亲民。下载模型的方式有hen多，我习惯用Git，特别是配合Git LFS，Neng方便地管理大文件。

Ru果你还没装git和git-lfs，记得先装上：

 gillbert@pop-os:~$ sudo apt install git git-lfs

然后找个宽敞的地方存放模型。我专门建了一个`models`目录。这里我们使用ModelScope的源来下载Qwen模型：

 gillbert@pop-os:~$ cd models/
 gillbert@pop-os:~/models$ git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git

这个过程可Neng需要一点时间，毕竟模型文件动辄十几个GB。你Ke以去泡杯咖啡，耐心等待进度条走完。下载好后你的本地就有了完整的模型权重文件。

四、 注入灵魂：安装并启动vLLM

模型有了接下来就是重头戏——vLLM。这个框架Zui牛的地方在于它引入了PagedAttention技术，Neng极大地提升显存利用率，推理速度也是杠杠的。Zui爽的是安装vLLM的时候，它会自动帮你把CUDA和cuDNN这些依赖库处理好，省去了不少配置麻烦。

为了下载速度快一点，建议先把pip源换成国内的清华源：

 gillbert@pop-os:~$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

接着，一键安装：

 gillbert@pop-os:~$ pip install vllm

安装顺利的话，现在就Ke以启动服务了。这一步的参数有点多，但别担心，我们一个个来拆解，保证你kan得懂。假设你的模型目录名是`Qwen2.5-7B-Instruct`，你Ke以这样启动：

vllm serve Qwen2.5-7B-Instruct --tensor-parallel-size 1 --gpu-memory-utilization 0.9 --max-model-len 4096 --host 0.0.0.0 --port 8000 --api-key token123

参数详解：别被命令行吓倒

kan着这一长串字符，新手可Neng会头晕。其实每个参数dou有它的用武之地，我用大白话给你翻译翻译：

vllm serve Qwen2.5-7B-Instruct

这是Zui基础的部分。它的意思就是：“嘿，vLLM，帮我启动一个服务，加载后面这个名叫Qwen的模型。”这里的`serve`表示我们要开启一个API服务器，而且这个接口是兼容OpenAI格式的，这意味着hen多现成的工具Ke以直接连上来。

--tensor-parallel-size 1

这个参数叫“张量并行大小”。听着挺玄乎，其实就是问你：“你想用几张显卡一起跑？”Ru果你像我一样，只有一张RTX 4090D，那就老老实实写`1`。Ru果你是土豪，有好几张卡组成了阵列，那就Ke以改成2、4甚至8，让它们分工合作。

--gpu-memory-utilization 0.9

这关乎显存的“吃相”。`0.9`意味着我们允许vLLM占用90%的显存。为什么要留10%呢？因为系统和其他进程也需要一点显存空间，Ru果吃得太死，系统可Neng会卡死或者报错。对于8GB显存或者24GB显存的卡，留点余量总是没错的，这样跑起来稳当。

--max-model-len 4096

这决定了模型的“记忆力”。`4096`指的是上下文长度，也就是一次对话中，模型Neng记住多少个Token。4096是个比较标准的数值，大概Neng支持几千字的连续对话。Ru果你需要处理超长文档，Ke以调大这个值，但代价是显存占用会飙升。

--host 0.0.0.0

这是网络监听地址。写成`0.0.0.0`表示“来者不拒”，局域网里的任何设备douNeng访问这个服务。Ru果你只想自己玩，不想被别人蹭网，那就改成`127.0.0.1`，这样就只有本机Neng用了。

--port 8000

这就是门牌号。服务启动后会通过8000端口对外提供API。你在浏览器或者代码里访问`http://localhost:8000`就Neng找到它。

--api-key token123

这是为了安全设的一道关卡。虽然是在本地，但为了防止被误连，设个密钥总是好的。后面我们配置前端界面时需要填上这个`token123`才Neng通过验证。

五、 披上“外衣”：安装Open WebUI

虽然vLLMYi经启动了API服务，但对着黑乎乎的命令行窗口聊天总感觉少了点灵魂。我们需要一个漂亮的图形界面就像ChatGPT那样。这时候，Open WebUI就派上用场了。它是一个功Neng极其强大的自托管平台，不仅支持离线运行，还Neng完美对接OpenAI兼容的接口。

为了保持环境整洁，我们再给Open WebUI建个单独的虚拟环境：

# 创建open-webui专属环境
 gillbert@pop-os:~$ conda create -n open-webui python=3.11
# 激活环境
 gillbert@pop-os:~$ conda activate open-webui
 gillbert@pop-os:~$

安装与配置

同样的套路，先换源，再安装：

# 配置清华源加速
 gillbert@pop-os:~$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 一键安装
 gillbert@pop-os:~$ pip install open-webui

安装完成后在启动之前，有个小细节得注意。Open WebUI在初次运行或者使用某些功Neng时可Neng会去外网下载一些小模型。这时候，Ru果你的网络环境没有科学上网，速度可Neng会慢到让你怀疑人生。所以我们Zui好提前设置好代理。

在`open-webui`这个虚拟环境下执行以下命令：

# 设置HTTP和HTTPS代理
export http_proxy="http://127.0.0.1:7890"
export https_proxy="http://127.0.0.1:7890"
export all_proxy="socks5://127.0.0.1:7890"
# 设置不走代理的地址
export no_proxy="localhost,127.0.0.1,::1,192.168.*,10.*"
# 兼容大写变量
export HTTP_PROXY="$http_proxy"
export HTTPS_PROXY="$https_proxy"
export ALL_PROXY="$all_proxy"
export NO_PROXY="$no_proxy"

搞定网络环境后就Ke以启动Open WebUI了：

 gillbert@pop-os:~$ open-webui serve

默认情况下它会监听8080端口。等命令行输出显示服务启动成功后你就Ke以打开浏览器，访问`http://localhost:8080`了。

六、 Zui后的拼图：连接与对话

第一次打开网页，它会让你注册一个账号。这是在本地运行的，数据dou在你手里放心填就是了。

进入界面后点击左上角的设置或者模型选择区域，我们需要把刚才启动的vLLM服务接进来。在模型配置那里选择“OpenAI API兼容”或者类似的选项，然后填入： * Base URL: `http://localhost:8000/v1` * API Key: `token123`

保存设置，刷新一下页面你应该就Neng在模型列表里kan到你的Qwen模型了。点击它，开始聊天吧！kan着屏幕上一个个字蹦出来那种成就感是无可替代的。而且，这一切dou是在你的本地完成的，速度快，隐私好，还没有月费压力。

七、 与碎碎念

折腾本地大模型，虽然过程有点繁琐，又要装驱动，又要配环境，还要调参数，但当你真正跑通的那一刻，你会发现这一切dou是值得的。vLLM的高效加上Open WebUI的易用，基本上解决了本地部署Zui大的两个痛点：性Neng和交互。

当然这只是一个开始。你还Ke以尝试不同的模型，调整量化参数以适应geng小的显存，或者甚至把它部署成局域网里的共享服务，让家里的其他设备也Neng用上AI。技术这东西，光kan不练假把式，赶紧动手试试吧，说不定你会发现geng多有趣的玩法。希望这篇笔记Neng帮你少走点弯路，祝你的AI之路顺畅无阻！

---