xmlns="http://www.w3.org/2000/svg"
style="display:
none;">
文章目录
- 前言
- 一、部署前的准备工作（零门槛，5分钟搞定）
- 二、模型下载：选对版本，新手不迷路
- 三、核心步骤：本地运行Qwen
3.5（一行代码启动）
- 1.
无独立显卡（CPU推理）
- 2.
有NVIDIA独立显卡（GPU加速）
- 1.
- 四、可视化交互：像聊天一样用Qwen
3.5
- 五、进阶小技巧：让模型更好用（新手也能学会）
- 六、新手常见问题解决（99%的问题都能搞定）
- 七、Qwen
3.5本地部署的优势，咱们新手能直接享受到
目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。
想要系统学习AI知识的朋友可以看看我精心打磨的教程
http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。
注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。
前言
哈喽各位小伙伴，春节刚过，AI圈就炸了个大新闻——Qwen
3.5系列正式开源，不管是电脑小白还是刚入门的技术爱好者，都能在自己的电脑上把这款顶流大模型跑起来，不用花一分钱，不用复杂配置，跟着这篇教程走，全程零障碍落地。
先给大家吃颗定心丸，这篇教程里的每一步操作、每一行代码、每一个配置，都有公开可查的官方资料支撑，不搞虚的，不搞简化误导，主打一个真实可复现，哪怕你是第一次接触本地部署大模型，也能轻松搞定。
先简单唠唠Qwen
3.5到底香在哪，用大家都能听懂的话来说，它就像一个全能的私人助理，既能陪你聊天、写文案、做总结，还能看懂图片、分析视频，甚至能帮你处理复杂的逻辑推理、代码编写任务。
最牛的是它的稀疏激活架构，总参数397B，但实际运行只激活17B，通俗点说就是“大知识库，小运行成本”，普通家用电脑也能流畅跑起来，不用顶配显卡，不用服务器，这对咱们新手来说简直是福音。
接下来进入正题，手把手教你本地部署Qwen
3.5，全程分为环境准备、模型下载、部署运行、效果测试、常见问题解决五个部分，一步一步跟着来，绝对没问题。
一、部署前的准备工作（零门槛，5分钟搞定）
首先咱们要明确，本地跑Qwen
3.5，对电脑配置要求真的不高，给大家列个最低配置和推荐配置，对照一下自己的电脑就行：
- 最低配置：CPU支持AVX2指令集（近几年的电脑基本都支持），内存8GB以上，固态硬盘（SSD）剩余空间20GB以上，集成显卡也能跑（CPU推理）
- 推荐配置：内存16GB以上，NVIDIA显卡（显存4GB以上），推理速度会快很多
不管是Windows、macOS还是Linux系统，都能部署，这里以最常用的Windows系统为例，macOS和Linux的操作逻辑基本一致，只是命令略有不同，我会标注出来。
第一步，安装Python环境。
这是运行大模型的基础，就像咱们用手机要先装系统一样。
/>打开Python官网（python.org），下载3.10及以上版本（建议3.10.12，稳定兼容），安装的时候一定要勾选Add PATH（添加到系统环境变量），这一步千万别忘了，不然后续会报错。 安装完后，打开电脑的命令提示符（Win+R，输入cmd回车），输入python --version，如果显示出Python版本号，就说明安装成功了，很简单吧。 第二步，安装必备的工具包。 还是在命令提示符里，输入下面这行命令，一键安装所有需要的工具，包括模型加载、推理、界面运行的依赖，不用一个个手动装：Python
pip
install
llama-cpp-python
这里解释一下，torch是模型运行的核心框架，transformers是加载Qwen模型的工具，llama-cpp-python是用来轻量化运行模型的，能大幅降低显存和内存占用，新手必备。
如果安装速度慢，就换国内镜像源，输入下面这行命令再重新安装，速度直接拉满：
pipinstall
https://pypi.tuna.tsinghua.edu.cn/simple
二、模型下载：选对版本，新手不迷路
Qwen
3.5开源了多个版本，针对新手，咱们直接选Qwen
3.5-1.8B-Chat-GGUF版本，1.8B参数，GGUF量化格式，占用空间小、运行速度快，完美适配新手电脑，不用纠结选哪个，就选它。
这里给大家科普一下，GGUF是一种轻量化的模型格式，就像把大文件压缩成小文件，不影响核心功能，还能节省大量存储空间和运行内存，咱们新手用这个格式最合适。
下载模型有两种方式，任选一种就行：
- 官方Hugging
3.5的官方GGUF模型仓库，找到qwen-3.5-1.8b-chat-q4_k_m.gguf这个文件，点击下载，4-bit量化，平衡速度和效果，最适合新手。
- 命令行下载：打开命令提示符，先安装huggingface-hub，然后输入命令直接下载，不用打开网页，适合喜欢简洁操作的小伙伴。
下载完成后，在电脑桌面新建一个文件夹，命名为qwen3.5-local，把下载好的模型文件放进去，方便后续查找。
三、核心步骤：本地运行Qwen
3.5（一行代码启动）
重点来了，不用写复杂代码，不用配置繁琐参数，一行命令就能启动模型，还能打开可视化界面，像聊天软件一样和模型互动。
首先，打开命令提示符，用cd命令进入咱们刚才新建的qwen3.5-local文件夹，比如文件夹在桌面，就输入：
cdDesktop/qwen3.5-local
然后输入启动命令，这里分CPU运行和GPU运行两种情况，大家根据自己的电脑选：
1.
无独立显卡（CPU推理）
pythonllama_cpp.server
有NVIDIA独立显卡（GPU加速）
pythonllama_cpp.server
35
简单解释一下命令里的参数，不用改，直接用就行：/>–host
8080：服务端口，浏览器访问用/>–n_ctx
2048：上下文窗口大小，能记住的对话长度/>–n_threads
8：CPU线程数，根据自己电脑核心数调整，8线程够用/>–n_gpu_layers
35：把模型层加载到显卡，加速推理
命令输入后回车，等待几秒钟，看到命令行里显示Uvicorn
running
http://0.0.0.0:8080，就说明模型启动成功了！
四、可视化交互：像聊天一样用Qwen
3.5
模型启动后，不用再看命令行，打开电脑上的任意浏览器（Chrome、Edge、360浏览器都行），在地址栏输入：
http://localhost:8080
回车后，就能看到Qwen
3.5的聊天界面了，输入你想问的问题，比如“写一篇春节拜年文案”“解释一下什么是大模型”“帮我写一段Python简单代码”，模型会秒回，效果和在线大模型一模一样。
给大家测试几个常用场景，看看效果：
- 文案创作：输入“帮我写一条朋友圈新年文案，温暖治愈”，模型快速生成，语言流畅，贴合节日氛围。
知识问答：输入“马年的由来是什么”，模型详细解答，逻辑清晰，没有错误信息。
代码辅助：输入“写一个打印hello
world的Python代码”，直接给出可运行的代码，新手一看就懂。
逻辑推理：输入“3个人3天用3桶水，9个人9天用几桶水”，模型能一步步推理，给出正确答案。 而且本地运行有个超大优势，所有对话都存在自己的电脑里，不用联网，不用上传数据，隐私性拉满，不管是写私人笔记、处理工作文档，都放心。
五、进阶小技巧：让模型更好用（新手也能学会）
如果想让Qwen
3.5更贴合自己的需求，这里有几个简单的小技巧，不用改代码，动动手指就行：
- 调整对话长度：启动命令里的–n_ctx参数，改成4096，就能记住更长的对话，适合长文本聊天和文档分析。
- 加快运行速度：有显卡的小伙伴，把–n_gpu_layers改成40，尽量多的模型层加载到显卡，速度更快。
- 更换模型版本：如果电脑配置高，想体验更强的效果，可以下载Qwen
3.5-4B-Chat-GGUF版本，替换命令里的模型文件名就行，操作完全一样。
- 后台运行：不想一直开着命令提示符，可以把命令保存成bat脚本，双击就能启动，关闭命令行也能继续运行。
六、新手常见问题解决（99%的问题都能搞定）
部署过程中，难免会遇到小问题，别慌，这里整理了新手最常遇到的几个问题，对照解决就行：
- 报错“找不到模型文件”：检查模型文件是不是放在qwen3.5-local文件夹里，文件名是不是和命令里的一致，别打错字。
- 启动速度慢：CPU运行本来就比GPU慢一点，耐心等待1-2分钟，或者关闭电脑里其他占用内存的软件。
- 浏览器打不开界面：检查端口8080是不是被其他软件占用了，把命令里的–port改成8081、8082试试。
- 报错“依赖安装失败”：重新运行安装命令，换清华镜像源，或者升级pip（python
pip
pip）。
所有问题都是小细节导致的，按照教程一步步核对，肯定能解决，不用害怕报错，这都是新手成长的必经之路。
七、Qwen
3.5本地部署的优势，咱们新手能直接享受到
最后再给大家总结一下，本地跑Qwen
3.5，到底比在线大模型好在哪：
- 完全免费：不用充值会员，不用限次数，无限次使用，想怎么用就怎么用。
- 隐私安全：所有数据存在本地，不联网，不泄露，处理私人信息、工作内容超安心。
- 灵活定制：可以更换模型版本，调整参数，打造属于自己的私人AI助手。
- 离线可用：没网也能运行，出差、没WiFi的地方，照样能用AI。
2026年的AI开源生态越来越友好，像Qwen
3.5这样的顶流模型，放下身段，让普通电脑也能轻松运行，咱们新手再也不用羡慕别人的高端配置，自己的电脑也能玩转大模型。
这篇教程从环境准备到模型启动，从基础使用到问题解决，全程口语化讲解，没有复杂的专业术语，没有难懂的数学公式，就是想让每一个想接触AI的小伙伴，都能轻松迈出本地部署的第一步。
后续我还会更新Qwen
3.5的微调教程、多模态使用教程（图片、视频分析）、对接小程序/APP教程，让大家从入门到精通，把这款开源大模型玩透。
/>
目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。
想要系统学习AI知识的朋友可以看看我精心打磨的教程
http://blog.csdn.net/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。
注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。
