GLM-4v-9b部署教程：vLLM推理服务器配置+OpenWebUI反向代理完整步骤
1.
引言：为什么选择GLM-4v-9b
如果你正在寻找一个既能看懂图片又能理解文字的多模态AI模型，而且希望它能在单张显卡上流畅运行，那么GLM-4v-9b可能就是你要找的答案。
这个模型有90亿参数，支持1120×1120的高分辨率图片输入，在中英文多轮对话、图像描述、视觉问答等任务上表现优异。
最重要的是，它经过INT4量化后只需要9GB显存，一张RTX
4090就能流畅运行。
本文将手把手教你如何部署GLM-4v-9b模型，包括配置vLLM推理服务器和设置OpenWebUI反向代理，让你能够通过网页界面轻松使用这个强大的多模态模型。
2.
系统要求
在开始之前，请确保你的系统满足以下要求：
- 操作系统：Ubuntu
20.04或更高版本（其他Linux发行版也可，但本文以Ubuntu为例）
- 显卡：NVIDIA显卡，至少24GB显存（推荐RTX
4090或同等级别）
- 驱动：NVIDIA驱动版本525.60.11或更高
- CUDA：CUDA
11.8或更高版本
- 内存：至少32GB系统内存
- 存储：至少50GB可用空间（用于模型文件和依赖包）
2.2
基础环境配置
首先更新系统并安装基础依赖：
#更新系统包列表
https://download.pytorch.org/whl/cu118
pip
下载模型（这里需要你有权访问模型）
echo
"请手动下载GLM-4v-9b模型到当前目录的glm-4v-9b文件夹"
启动vLLM服务器
vllm.entrypoints.openai.api_server
--model
https://github.com/open-webui/open-webui.git
open-webui
"http://localhost:8000/v1",
"api_key":
"kakajiang@kakajiang.com",
"password":
kakajiang@kakajiang.com"
echo
kakajiang"
给脚本添加执行权限并运行：
chmod+x
显存不足问题
如果遇到显存不足的错误，可以尝试以下解决方案：
- 使用量化版本：寻找INT4量化版本的模型，显存需求减半
- 调整GPU内存使用率：降低
--gpu-memory-utilization参数值 - 使用梯度检查点：减少内存使用但会增加计算时间
7.2
模型加载失败
如果模型加载失败，检查以下几点：
- 模型路径：确保路径正确且有权访问
- 模型格式：确认模型是vLLM兼容的格式
- 文件完整性：验证模型文件是否完整下载
7.3
性能优化建议
- 使用TensorRT：如果追求极致性能，可以考虑使用TensorRT部署
- 批处理：适当增加批处理大小可以提高吞吐量
- 内核优化：使用最新版本的vLLM，通常包含性能优化
8.
总结
通过本教程，你已经成功部署了GLM-4v-9b多模态模型，并配置了vLLM推理服务器和OpenWebUI界面。
这个部署方案具有以下优势：
- 高效推理：vLLM提供了优化的推理性能
- 友好界面：OpenWebUI让非技术用户也能轻松使用模型
- 灵活扩展：支持通过API集成到其他应用中
- 安全访问：通过反向代理提供更安全的访问方式
现在你可以通过浏览器访问OpenWebUI界面，上传图片并与GLM-4v-9b进行多模态对话了。
这个强大的模型可以帮助你完成图像描述、视觉问答、图表理解等多种任务。
/>
获取更多AI镜像
想探索更多AI镜像和应用场景？访问
CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
