最新大模型及智能体开发网站全套部署方案

📌 技术栈概览

• 推理引擎vLLM
• 智能体开发网站Dify
• 基础模型Qwen2.
• 嵌入模型bge-large-zh-v1.
• 重排序模型bge-reranker-v2-m3
• 语音识别Whisper
• 语音合成Edge-TTS

整套方案全部基于开源工具。 可私有化部署，完全掌控数据。

User Pain Points & Solutions

• "我没有太多算力，但想跑 7B~14B 模型": 使用 vLLM 的 AWQ/GPTQ 量化降低显存占用；配合 Tensor Parallel 分布式推理。
• "下载国外模型太慢": 通过阿里云 ModelScope 加速下载；统一缓存方法 /data/models/。
• "无法在本地搭建完整工作流": 用 Docker Compose 一键启动所有服务；每个服务提供官方 Dockerfile。
• "不知道如何接入自定义 ASR/TTS": Dify 工作流支持 HTTP 请求节点，只需填写 URL 与请求 Body 即可调用 FastAPI 服务。说起来，
• "担心安全与权限泄露": 所有 API 默认不校验。 可自行加 API Key 或 OAuth；不过，建议使用 Nginx 做反向代理并开启 TLS。说起来，
• "监控不到实时指标": 集成 Promeus + Grafana 监控 GPU 使用率、请求延迟与错误率。

I. 环境准备 & 基础软件安装

硬件要求

• NVIDIA 显卡，显存至少 16GB——推荐 RTX A6000 或 A100。
• Mémoire 32GB+。
• L'SSD 200GB+。
• Système d'exploitation Ubuntu 22.04+。

安装基础软件

# 更新程序
sudo apt update && sudo apt upgrade -y
# 安装 Python + 工具
sudo apt install python3-pip python3-venv git wget curl -y
# 安装 CUDA
# 示例：CUDA 12.x
wget https://developer.download.nvidia.com/compute/cuda/12.x/local_installers/cuda_12.x_530.xx_linux.run
sudo sh cuda_12.x_530.xx_linux.run
# 安装 Docker
curl -fsSL https://get.docker.com | bash
sudo usermod -aG docker $USER
newgrp docker

⚠️ 常见问题：国内镜像速度慢 → 使用 ModelScope 加速下载；缺少预训练权重 → 确认访问权限或使用官方镜像仓库。

安装 modelscope 和 huggingface_hub

# 安装 Python 库
pip install modelscope huggingface_hub

下载 Qwen2 系列模型

# download_qwen.py
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download(
'Qwen/Qwen2.-7B-Instruct'。cache_dir='/data/models/'
)
print

下载嵌入和重排序模型

# 嵌入模型 bge-large-zh-v1.
snapshot_download
# 重排序 bge-reranker-v2-m3
snapshot_download

下载 Whisper-ASR 大规模版本

无需手动下载，可直接通过 wrapper-faster-whisper / modelscope‑whisper-large‑v3.

# 示例：
snapshot_download

TTS 可选 Edge-TTS 在线服务；离线需求可考虑 VITS/CosyVoice。